Responsable de l'assurance qualité en mathématiques (QAL)

Dans ce rôle de contractant distant rémunéré à l'heure, vous travaillerez en tant que responsable de l'assurance qualité en mathématiques (Mathematics Quality Assurance Lead - QAL) pour superviser la qualité, la cohérence et la performance des formateurs sur les projets d'entraînement d'IA en mathématiques. Vous examinerez le contenu mathématique généré par l'IA ainsi que le travail des formateurs et des équipes d'assurance qualité, évaluerez la qualité des résultats par rapport aux directives du projet, fournirez un retour écrit précis et veillerez à ce que tous les contributeurs respectent les normes de qualité attendues.

Vous évaluerez le travail sous l'angle de la rigueur mathématique, du raisonnement logique, de l'exactitude des calculs, de la valadité des démonstrations, de la qualité de la notation, de la clarté, du formatage, du suivi des instructions et du respect des barèmes spécifiques au projet. Vous repérerez les problèmes de qualité récurrents, communiquerez les mises à jour aux formateurs et aux contrôleurs qualité, soutiendrez l'intégration (onboarding), tiendrez la documentation à jour et contribuerez à réactiver les contributeurs qui ne travaillent pas de manière régulière. Ce rôle requiert une solide expertise en mathématiques, de fortes compétences en communication en anglais, une excellente attention aux détails, une communication structurée et la capacité de gérer des flux de travail qualité au sein d'équipes techniques distantes.

Ce rôle est proposé par SME Careers, une entreprise de services de données d'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement pour nombre des plus grandes entreprises d'IA et laboratoires de modèles de fondation au monde. Votre leadership en matière de qualité mathématique contribuera directement à l'amélioration des principaux modèles d'IA mondiaux en garantissant que les données d'entraînement mathématiques sont exactes, logiquement fondées, clairement expliquées, bien documentées et alignées sur les attentes des clients.

Le processus de sélection comprend un entretien par IA, une tâche spécifique au domaine et un entretien avec un recruteur.

Responsabilités

• Suivi de la qualité : effectuer des contrôles ponctuels des éléments mathématiques, identifier les problèmes de qualité, fournir un retour continu via des messages directs et signaler les problèmes récurrents ou critiques.
• Revue mathématique : évaluer les explications mathématiques générées par l'IA, les démonstrations, les dérivations, les calculs, la résolution de problèmes textuels, les diagrammes et descriptions ainsi que le raisonnement étape par étape pour en vérifier l'exactitude et la clarté.
• Communication avec les formateurs et les équipes d'assurance qualité : informer les formateurs et l'équipe d'assurance qualité sur Discord concernant les nouvelles directives, les changements de projet, les mises à jour des flux de travail, les attentes en matière de qualité et les normes de révision spécifiques aux mathématiques.
• Gestion des questions : répondre aux questions des formateurs et des équipes de contrôle qualité de manière claire et rapide, en particulier concernant la validité du raisonnement, la notation, les hypothèses, les méthodes de résolution, la structure des démonstrations, le formatage et l'interprétation des barèmes.
• Gestion de l'activation des formateurs et contrôleurs qualité : envoyer des messages directs aux contributeurs inactifs ou qui ne travaillent pas, encourager leur réactivation, assurer le suivi et signaler les problèmes de disponibilité si nécessaire.
• Documentation : créer et tenir à jour la documentation des projets mathématiques, y compris les guides de style, les outils de suivi, les FAQ, les notes de qualité, les exemples, les pièges (honeypots), les tâches de calibrage et le matériel d'intégration.
• Intégration et formation : planifier et animer des appels d'intégration et de formation avec les formateurs et les contrôleurs qualité pour expliquer les attentes du projet, les flux de travail, les barèmes, les normes de qualité et les exigences de révision spécifiques aux mathématiques.
• Alignement de la qualité : s'assurer que tous les formateurs et contrôleurs qualité appliquent les directives mathématiques de manière cohérente et comprennent les mises à jour au fur et à mesure de l'évolution des projets.
• Analyse des schémas d'erreurs : identifier les problèmes récurrents tels que les étapes de raisonnement ignorées, les simplifications non valides, les formules incorrectes, les incohérences de notation, les erreurs arithmétiques ou les réponses correctes mais mal justifiées.
• Amélioration des processus : identifier les lacunes de qualité récurrentes, proposer des améliorations des flux de travail et contribuer à la mise en place de processus d'assurance qualité évolutifs pour les projets d'entraînement d'IA en mathématiques.

Prérequis

• Diplôme de licence, de master ou de doctorat en mathématiques, mathématiques appliquées, statistiques, physique, ingénierie, informatique, didactique des mathématiques ou dans un domaine quantitatif étroitement apparenté.
• Maîtrise solide de la langue anglaise pour suivre les directives des projets, communiquer avec les équipes et fournir un retour mathématique clair en anglais.
• Plus de 3 ans d'expérience professionnelle en mathématiques, enseignement, tutorat, recherche, analyse quantitative, rédaction technique, développement de programmes, création de problèmes, conception d'évaluations ou révision de contenus mathématiques.
• Solide compréhension des sujets mathématiques fondamentaux tels que l'algèbre, la géométrie, la trigonométrie, le calcul, l'algèbre linéaire, les mathématiques discrètes, les probabilités, la statistique, la théorie des nombres, la combinatoire, les équations différentielles et les démonstrations mathématiques.
• Capacité à évaluer des contenus mathématiques par rapport à des barèmes détaillés et à identifier des problèmes tels que des hypothèses erronées, des raisonnements faussés, des démonstrations non valides, des erreurs de calcul, des problèmes de notation, des étapes manquantes, des faits hallucinés ou des explications incomplètes.
• Aptitude à examiner à la fois les explications conceptuelles et les solutions étape par étape, notamment en vérifiant si chaque étape découle logiquement de la précédente.
• La familiarité avec les outils ou flux de travail mathématiques tels que LaTeX, Python, MATLAB, R, WolframAlpha/Mathematica, GeoGebra, Desmos, la modélisation sur tableur ou les outils de calcul symbolique est un atout privilégié.
• Une expérience dans la direction ou le soutien d'équipes distantes de formateurs, d'annotateurs, de réviseurs, d'éducateurs, de rédacteurs techniques ou de contrôleurs qualité est fortement souhaitée.
• Aisance pour travailler dans des environnements distants en évolution rapide en utilisant des outils tels que Discord, Google Sheets, Google Docs, des outils de suivi, des tableaux de bord et des systèmes de gestion de projet.
• Grand souci du détail et sens de l'organisation, avec la capacité de tenir à jour des guides de style, des FAQ, des outils de suivi, du matériel d'intégration, des pièges (honeypots), des tâches de calibrage et toute autre documentation qualité.
• Une expérience en matière d'entraînement d'IA, d'annotation de données, de grands modèles de langage, d'évaluation de requêtes et de réponses, d'assurance qualité de contenus mathématiques ou d'évaluation de LLM basée sur des barèmes constitue un atout majeur.
• Maîtrise native du punjabi.