Responsable d'équipe Sciences sociales et Éducation

Dans ce rôle de prestataire à distance payé à l'heure, vous travaillerez en tant que responsable de l'assurance qualité (QAL) pour les sciences sociales et l'éducation, afin de superviser la qualité, la cohérence et les performances des formateurs sur les projets de formation en IA axés sur les sciences sociales, l'éducation et l'apprentissage. Vous examinerez le contenu en sciences sociales et en éducation généré par l'IA ainsi que le travail des formateurs et des responsables AQ, évaluerez la qualité des résultats par rapport aux directives du projet, fournirez des commentaires écrits précis et veillerez à ce que tous les contributeurs respectent les normes de qualité attendues.

Vous évaluerez le travail selon la rigueur conceptuelle, la culture de recherche, la pertinence pédagogique, le contexte social, la qualité méthodologique, la sensibilité éthique, la sensibilisation aux biais, la clarté, la mise en page, le respect des instructions et l'adhésion aux grilles d'évaluation spécifiques au projet. Vous repérerez les problèmes de qualité récurrents, communiquerez les mises à jour aux formateurs et aux responsables AQ, soutiendrez l'intégration, maintiendrez la documentation et contribuerez à activer les contributeurs qui ne travaillent pas de manière régulière. Ce rôle requiert une solide expertise en sciences sociales et/ou en éducation, de solides compétences en communication en anglais, une excellente attention aux détails, une communication structurée et la capacité à gérer des flux de travail axés sur la qualité au sein d'équipes d'experts à distance.

Ce rôle est proposé par SME Careers, une entreprise de services de données d'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement pour nombre des plus grandes entreprises d'IA et laboratoires de modèles de fondation au monde. Votre leadership en matière de qualité pour les sciences sociales et l'éducation contribuera directement à améliorer les meilleurs modèles d'IA au monde en garantissant que les données d'entraînement dans ces domaines sont exactes, nuancées, fondées sur la recherche, conscientes des enjeux éthiques et alignées sur les attentes des clients.

Responsabilités

• Suivi de la qualité : Effectuer des contrôles ponctuels des éléments en sciences sociales et en éducation, identifier les problèmes de qualité, fournir des commentaires continus par message direct et faire remonter les problèmes récurrents ou critiques.
• Revue en sciences sociales et en éducation : Évaluer les explications générées par l'IA, le contenu des cours, les résumés en sciences sociales, le contenu sur les méthodes de recherche, les activités pédagogiques, les éléments d'évaluation, les conseils d'apprentissage et le raisonnement social pour en vérifier l'exactitude et la nuance.
• Communication avec les formateurs et les responsables AQ : Informer les formateurs et les responsables AQ sur Discord concernant les nouvelles directives relatives aux articles, les modifications de projets, les mises à jour des flux de travail, les attentes en matière de qualité et les normes de révision spécifiques aux sciences sociales et à l'éducation.
• Gestion des questions : Répondre aux questions des formateurs et des responsables AQ de manière claire et rapide, en particulier concernant les concepts éducatifs, les objectifs d'apprentissage, les méthodes de recherche, le contexte social, les biais, l'adéquation pour les étudiants et l'interprétation des grilles d'évaluation.
• Gestion de l'activation des formateurs/AQ : Envoyer des messages directs aux contributeurs inactifs ou qui ne travaillent pas, encourager leur réactivation, suivre les relances et signaler les problèmes de disponibilité si nécessaire.
• Documentation : Créer et tenir à jour la documentation du projet en sciences sociales et en éducation, y compris les guides de style, les outils de suivi, les FAQ, les notes de qualité, les exemples, les pièges (honeypots), les tâches d'étalonnage et le matériel d'intégration.
• Intégration et formation : Planifier et animer des appels d'intégration et de formation avec les formateurs et les responsables AQ pour expliquer les attentes du projet, les flux de travail, les grilles d'évaluation, les normes de qualité et les exigences spécifiques aux sciences sociales et à l'éducation.
• Alignement sur la qualité : S'assurer que tous les formateurs et responsables AQ appliquent les directives de révision des sciences sociales et de l'éducation de manière cohérente et comprennent les mises à jour à mesure que les projets évoluent.
• Évaluation des biais et de l'éthique : Signaler les stéréotypes, le langage stigmatisant, les affirmations non fondées concernant des groupes, un raisonnement causal faible, un étayage pédagogique insuffisant ou du contenu problémique sur le plan éthique.
• Amélioration des processus : Identifier les lacunes de qualité récurrentes, proposer des améliorations des flux de travail et contribuer à la mise en place de processus AQ évolutifs pour les projets de formation en IA en sciences sociales et en éducation.

Exigences

• Licence, Master, doctorat, certificat d'enseignement ou expérience professionnelle équivalente en éducation, sociologie, psychologie, anthropologie, sciences politiques, travail social, politiques publiques, psychologie de l'éducation, programmes d'études ou domaine connexe.
• Forte maîtrise de la langue anglaise pour suivre les directives du projet, communiquer avec les équipes et fournir des commentaires écrits clairs.
• Plus de 3 ans d'expérience dans l'enseignement, le développement de programmes d'études, la recherche en sciences sociales, la révision de contenu pédagogique, la conception pédagogique, la rédaction académique, la politique sociale, l'évaluation des étudiants ou des flux de travail de révision connexes.
• Solide compréhension des concepts de sciences sociales, de la théorie de l'éducation, de la pédagogie, des résultats d'apprentissage, de la conception d'évaluations, des méthodes de recherche, de l'éthique, des biais, de la culture, des institutions sociales, des inégalités et du raisonnement fondé sur des données probantes.
• Capacité à évaluer le contenu en sciences sociales et en éducation par rapport à des grilles d'évaluation détaillées et à identifier des problèmes tels que des généralisations non fondées, des stéréotypes, de fausses affirmations causales, une mauvaise conception pédagogique, un cadrage biaisé, une méthodologie erronée ou du contenu pédagogique inadapté à l'âge.
• Une familiarité avec des domaines tels que l'apprentissage en classe, l'évaluation, la planification des cours, la recherche sociale, les méthodes qualitatives/quantitatives, l'équité éducative, le développement de l'enfant, la science de l'apprentissage ou les normes des programmes d'études est un plus.
• Une expérience dans la direction ou le soutien d'équipes distantes d'éducateurs, de chercheurs, de rédacteurs de programmes, de réviseurs, d'annotateurs, de formateurs ou de responsables AQ est vivement souhaitée.
• Aisance pour travailler dans des environnements distants en évolution rapide en utilisant des outils tels que Discord, Google Sheets, Google Docs, des outils de suivi, des tableaux de bord et des systèmes de gestion de projet.
• Grand souci du détail et sens de l'organisation, avec la capacité de tenir à jour des guides de style, des FAQ, des outils de suivi, du matériel d'intégration, des pièges, des tâches d'étalonnage et de la documentation.
• Une expérience dans la formation en IA, l'annotation de données, l'évaluation de LLM, l'AQ en sciences sociales, l'AQ pédagogique, la révision de programmes d'études ou la révision basée sur des grilles d'évaluation constitue un net avantage.