Responsable d'équipe Data Scientist

Dans le cadre de ce rôle de contractant à distance et rémunéré à l'heure, vous travaillerez en tant que Data Scientist Quality Assurance Lead (QAL) pour superviser la qualité, la cohérence et les performances des formateurs sur les projets d'entraînement en IA en science des données. Vous examinerez le contenu en science des données généré par l'IA ainsi que le travail des formateurs et des équipes d'assurance qualité (QA), évaluerez la qualité des livrables par rapport aux directives du projet, fournirez des commentaires écrits précis et veillerez à ce que les contributeurs respectent les normes de qualité attendues.

Vous évaluerez les travaux sous l'angle de la rigueur statistique, du raisonnement sur les données, de la qualité de la sélection des modèles, de l'exactitude du code, de la reproductibilité, de l'interprétation des métriques, de la prise en compte du contexte commercial, de la clarté, du formatage, du respect des consignes et de l'adhésion aux grilles d'évaluation spécifiques au projet. Vous repérerez les problèmes de qualité récurrents, communiquerez les mises à jour aux formateurs et aux QA, soutiendrez l'intégration (onboarding), maintiendrez la documentation et contribuerez à réactiver les contributeurs qui ne travaillent pas de manière régulière.

Ce rôle est proposé par SME Careers, une entreprise de services de données pour l'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement pour nombre des plus grandes entreprises d'IA au monde et des laboratoires de modèles de fondation. Votre leadership en matière de qualité en science des données contribuera à garantir que les données d'entraînement sont analytiquement saines, reproductibles, clairement expliquées et alignées sur les attentes des clients.

Le processus de sélection comprend un entretien par IA, une tâche spécifique au domaine et un entretien avec un recruteur.

Important :
Il n'y a pas de projet immédiat pour ce rôle ; cependant, si votre profil correspond, vous figurerez parmi les premiers experts contactés lorsque des opportunités pertinentes se présenteront. Cela vous donnera également accès à de futurs projets disponibles au sein de notre réseau d'experts.

Responsabilités

• Suivi de la qualité : Effectuer des contrôles ponctuels sur les éléments de science des données, identifier les problèmes de qualité, fournir des commentaires via des messages directs et signaler les problèmes récurrents ou critiques.
• Revue technique : Évaluer les explications en science des données générées par l'ia, les extraits de code Python/R/SQL, les flux de modélisation, les interprétations statistiques, les tableaux de bord, les conceptions d'expériences et le raisonnement étape par étape.
• Communication avec les formateurs et l'équipe QA : Informer les formateurs et les QA sur Discord des modifications apportées aux directives, des mises à jour des flux de travail et des attentes en matière de qualité propres à la science des données.
• Traitement des questions : Répondre aux questions concernant les hypothèses statistiques, les métriques, la sélection des modèles, la fuite de données, la validation, les choix de codage, la reproductibilité et l'interprétation des grilles d'évaluation.
• Gestion de l'activation des formateurs et des QA : Envoyer des messages directs aux contributeurs inactifs, encourager leur réactivation, suivre les relances et signaler les problèmes de disponibilité.
• Documentation : Créer et tenir à jour des guides de style en science des données, des outils de suivi, des FAQ, des exemples, des pièges (honeypots), des tâches de calibrage et du matériel d'intégration.
• Intégration et formation : Planifier et animer des réunions d'intégration et de formation avec les contributeurs pour expliquer les attentes du projet, les flux de travail, les grilles d'évaluation et les normes de révision en science des données.
• Évaluation des risques : Signaler les productions en science des données trompeuses, trop assurées, statistiquement non valides ou non reproductibles.
• Amélioration des processus : Identifier les lacunes récurrentes en matière de qualité et contribuer à la mise en place de processus de QA évolutifs.

Prérequis

• Diplôme de licence (Bachelor's), de master (Master's) ou de doctorat (PhD) en science des données, statistiques, informatique, apprentissage automatique (machine learning), mathématiques, économie, ingénierie ou dans un domaine quantitatif étroitement lié.
• Solide maîtrise de l'anglais pour suivre les directives, communiquer avec les équipes et fournir des retours techniques clairs.
• Plus de 3 ans d'expérience professionnelle en science des données, analyse, apprentissage automatique, modélisation statistique, expérimentation, ingénierie des données, révision technique ou éducation à la science des données.
• Solide compréhension des statistiques, des probabilités, du nettoyage des données, de l'analyse exploratoire des données, de l'ingénierie des caractéristiques (feature engineering), de l'apprentissage supervisé/non supervisé, de l'évaluation des modèles, de l'expérimentation, de la régression, de la classification, du clustering et des méthodes de validation.
• Capacité à évaluer le contenu en science des données par rapport à des grilles d'évaluation détaillées et à identifier des problèmes tels que la fuite de données, des hypothèses erronées, des métriques incorrectes, une méthodologie fragile, du code non reproductible, des bibliothèques ou API hallucinées, ou des conclusions trompeuses.
• Une familiarité avec des outils tels que Python, pandas, NumPy, scikit-learn, SQL, Jupyter, matplotlib, R, Spark, Git, MLflow, les notebooks, les tableaux de bord et les plateformes cloud/de données est préférable.
• Une expérience dans la direction ou le soutien d'équipes à distance de formateurs, d'annotateurs, d'analystes, de data scientists, d'ingénieurs, d'éducateurs ou de personnes chargées de l'assurance qualité (QA) est vivement recommandée.
• Aisance avec l'utilisation de Discord, Google Sheets, Google Docs, des outils de suivi, des tableaux de bord, GitHub et des systèmes de gestion de projets.
• Grand sens de l'organisation et capacité à tenir à jour des guides de style, des outils de suivi, des FAQ, du matériel d'intégration, des pièges, des tâches de calibrage et de la documentation sur la qualité.
• Une expérience en matière d'entraînement d'IA, d'annotation de données, d'évaluation de modèles de langage (LLM), de QA en science des données ou de révision technique basée sur des grilles d'évaluation constitue un atout majeur.