Chef d'équipe Python (axé sur le machine learning)

Dans ce rôle de contractant distant rémunéré à l'heure, vous travaillerez en tant que responsable de l'assurance qualité (QAL) Python (axé sur le ML) pour superviser la qualité, la cohérence et la performance des formateurs sur les projets d'entraînement en intelligence artificielle et apprentissage automatique (ML) en Python. Vous évaluerez le code Python généré par l'IA, les flux de travail ML, les explications de modèles et le travail des formateurs/QA ; vous évaluerez la qualité des résultats par rapport aux directives du projet ; vous fournirez un retour écrit précis et veillerez à ce que les contributeurs respectent les normes de qualité attendues.

Vous évaluerez le travail sous l'angle de la correction du code, de la méthodologie d'apprentissage automatique, de la validité statistique, de la reproductibilité, de la qualité de l'évaluation des modèles, des risques de fuite de données, de l'utilisation des paquets, de la précision du débogage, de la lisibilité, de la maintenabilité, du formatage, du respect des instructions et de l'adhésion aux grilles d'évaluation spécifiques au projet. Ce rôle exige une solide expertise en Python et en ML, des compétences en communication en anglais, une excellente attention aux détails et la capacité à gérer des flux de travail de qualité au sein d'équipes techniques distantes.

Ce rôle est proposé par SME Careers, une entreprise de services de données pour l'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement pour nombre des plus grandes entreprises d'IA et laboratoires de modèles de fondation au monde. Votre leadership en matière de qualité Python ML contribuera à garantir que les données d'entraînement sont exactes, exécutables, statistiquement solides, reproductibles, clairement expliquées et alignées sur les attentes des clients.

Le processus de sélection comprend un entretien par IA, une tâche spécifique au domaine et un entretien avec un recruteur.

Important :
Il n'y a pas de projet immédiat pour ce rôle ; cependant, si vous êtes qualifié, vous figurerez parmi les premiers experts contactés lorsque des opportunités pertinentes se présenteront. Cela vous donnera également accès à de futurs projets disponibles via notre réseau d'experts.

Responsabilités

• Suivi de la qualité : Effectuer des contrôles ponctuels sur les éléments Python ML, identifier les problèmes de qualité, fournir des retours via messages directs (DM) et faire remonter les problèmes récurrents ou critiques.
• Revue de code et de ML : Évaluer le code Python généré par l'IA, les pipelines ML, les étapes de pré-traitement des données, les flux d'entraînement des modèles, la logique d'évaluation, les réponses de débogage et les explications quant à leur exactitude et leur reproductibilité.
• Communication avec les formateurs et l'équipe QA : Informer les contributeurs sur Discord des modifications apportées aux directives, des mises à jour des flux de travail et des normes de révision spécifiques à Python/ML.
• Gestion des questions : Répondre aux questions concernant la syntaxe Python, l'utilisation des paquets, la fuite de données, la validation des modèles, les métriques, les hypothèses statistiques, la reproductibilité, les notebooks et l'interprétation des grilles d'évaluation.
• Gestion de l'activation des formateurs/QA : Envoyer des messages directs aux contributeurs inactifs, encourager leur activation, suivre les relances et signaler les problèmes de disponibilité.
• Documentation : Créer et maintenir des guides de style Python ML, des outils de suivi, des FAQ, des exemples, des pièges à bots (honeypots), des tâches de calibration et du matériel d'intégration.
• Intégration et formation : Animer des sessions d'intégration et de formation pour les contributeurs Python ML.
• Revue des risques : Signaler les recommandations Python ML trompeuses, trop sûres d'elles, statistiquement non valides, non reproductibles, non sécurisées ou non prêtes pour la production.
• Amélioration des processus : Identifier les lacunes de qualité récurrentes et concevoir des processus d'assurance qualité évolutifs.

Exigences

• Licence, Master ou Doctorat en informatique, apprentissage automatique, science des données, statistiques, mathématiques, ingénierie ou dans un domaine quantitatif étroitement apparenté.
• Solide maîtrise de l'anglais pour suivre les directives, communiquer avec les équipes et fournir des retours techniques clairs.
• Plus de 3 ans d'expérience professionnelle en développement Python, apprentissage automatique, science des données, ingénierie ML, évaluation de modèles, ingénierie de recherche, révision technique ou éducation au ML.
• Solide compréhension des fondamentaux de Python tels que les structures de données, les fonctions, les classes, les itérateurs, les compréhensions, la gestion des exceptions, les environnements virtuels, la gestion des paquets, les tests et le débogage.
• Solide compréhension des sujets liés au ML tels que l'apprentissage supervisé/non supervisé, l'ingénierie des caractéristiques (feature engineering), les divisions entraînement/test, la validation croisée, la sélection de modèles, la fuite de données, la régression, la classification, le clustering, les métriques, le biais/la variance, la régularisation et la reproductibilité.
• Capacité à évaluer du contenu ML par rapport à des grilles d'évaluation détaillées et à identifier des problèmes tels qu'une méthodologie erronée, des métriques incorrectes, une fuite de données, du code non reproductible, des hypothèses non valides, des API hallucinées, des conclusions trompeuses ou des explications incomplètes.
• Une familiarité avec NumPy, pandas, scikit-learn, PyTorch, TensorFlow/Keras, XGBoost/LightGBM, Jupyter, matplotlib, seaborn, MLflow, Hugging Face, SQL, GitHub, Docker et CI/CD est préférée.
• Une expérience dans la direction ou le soutien d'équipes distantes de formateurs, d'annotateurs, de réviseurs, d'ingénieurs, de data scientists, de chercheurs en ML, de mentors en codage ou de responsables QA est fortement appréciée.
• Aisance pour travailler dans des environnements distants en évolution rapide en utilisant Discord, Google Sheets, Google Docs, des outils de suivi, des tableaux de bord, GitHub et des systèmes de gestion de projet.
• Grand sens de l'organisation et capacité à tenir à jour des guides de style, des outils de suivi, des FAQ, du matériel d'intégration, des pièges à bots, des tâches de calibration et de la documentation qualité.
• Une expérience dans l'entraînement d'IA, l'annotation de données, l'évaluation de LLM, l'assurance qualité du code, l'assurance qualité ML ou la révision technique basée sur des grilles d'évaluation constitue un atout majeur.