Responsable de l'assurance qualité (QAL) en sociologie

Dans le cadre de ce rôle de contractuel à distance payé à l'heure, vous travaillerez en tant que responsable de l'assurance qualité en sociologie (Sociology Quality Assurance Lead - QAL) pour superviser la qualité, la cohérence et la performance des formateurs sur des projets de formation en IA axés sur la sociologie. Vous examinerez le contenu sociologique généré par l'IA ainsi que le travail des formateurs et de l'AQ, évaluerez la qualité des résultats par rapport aux directives du projet, fournirez des commentaires écrits précis et veillerez à ce que tous les contributeurs respectent les normes de qualité attendues.

Vous évaluerez le travail sous l'angle de la précision sociologique, de l'application théorique, de la maîtrise de la recherche, du contexte social, de la rigueur méthodologique, de la conscience éthique, de la sensibilité aux biais, de la clarté, du formatage, du suivi des instructions et du respect des grilles d'évaluation spécifiques au projet. Vous repérerez les problèmes de qualité récurrents, communiquerez les mises à jour aux formateurs et aux AQ, soutiendrez l'intégration (onboarding), tiendrez à jour la documentation et contribuerez à réactiver les contributeurs qui ne travaillent pas de manière régulière. Ce rôle exige une solide expertise en sociologie, de fortes compétences en communication, une excellente attention aux détails, une communication structurée et la capacité de gérer des flux de travail axés sur la qualité au sein d'équipes d'experts distantes.

Ce poste est proposé par SME Careers, une entreprise de services de données pour l'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement pour nombre des plus grandes entreprises d'IA et laboratoires de modèles de fondation au monde. Votre leadership en matière de qualité sociologique contribuera directement à améliorer les principaux modèles d'IA mondiaux en garantissant que les données d'entraînement en sociologie sont précises, nuancées, éthiquement conscientes, fondées sur la recherche et alignées sur les attentes des clients.

Le processus de sélection comprend un entretien avec l'IA, une tâche spécifique au domaine et un entretien avec un recruteur.

Important :
Il n'y a pas de projet immédiat pour ce rôle ; cependant, si vous êtes qualifié, vous ferez partie des premiers experts que nous contacterons lorsque des opportunités pertinentes se présenteront. Cela vous donnera également accès à de futurs projets disponibles via notre réseau d'experts.

Responsabilités

• Surveillance de la qualité : Effectuer des contrôles ponctuels sur les éléments sociologiques, identifier les problèmes de qualité, fournir un retour d'information continu par message direct et faire remonter les problèmes récurrents ou critiques.
• Revue sociologique : Évaluer les explications sociologiques générées par l'IA, les applications théoriques, les résumés de recherche, les discussions sur les politiques sociales, les interprétations démographiques et le raisonnement sous l'angle de la précision et de la nuance.
• Communication avec les formateurs et l'AQ : Informer les formateurs et les AQ sur Discord des nouvelles directives concernant les éléments, des changements de projet, des mises à jour des flux de travail, des attentes en matière de qualité et des normes d'évaluation spécifiques à la sociologie.
• Gestion des questions : Répondre aux questions des formateurs et des AQ de manière claire et rapide, en particulier concernant les concepts sociologiques, la théorie sociale, les méthodes de recherche, l'inégalité, la culture, l'éthique, les biais et l'interprétation des grilles d'évaluation.
• Gestion de l'activation des formateurs et des AQ : Envoyer des messages directs aux contributeurs inactifs ou qui ne travaillent pas, encourager leur activation, suivre les relances et signaler les problèmes de disponibilité si nécessaire.
• Documentation : Créer et maintenir la documentation du projet de sociologie, y compris les guides de style, les outils de suivi, les FAQ, les notes de qualité, les exemples, les pièges (honeypots), les tâches de calibrage et le matériel d'intégration.
• Intégration et formation : Planifier et animer des appels d'intégration et de formation avec les formateurs et les AQ pour expliquer les attentes du projet, les flux de travail, les grilles d'évaluation, les normes de qualité et les exigences d'évaluation spécifiques à la sociologie.
• Alignement de la qualité : Veiller à ce que tous les formateurs et AQ appliquent les directives d'évaluation sociologique de manière cohérente et comprennent les mises à jour à mesure que les projets évoluent.
• Revue des biais et de l'éthique : Signaler les stéréotypes, le langage stigmatisant, les affirmations non fondées sur les groupes sociaux, le raisonnement causal faible ou l'analyse sociale problématique sur le plan éthique.
• Amélioration des processus : Identifier les lacunes de qualité récurrentes, proposer des améliorations des flux de travail et contribuer à la mise en place de processus d'AQ évolutifs pour les projets de formation en IA en sociologie.

Prérequis

• Diplôme de licence, de master ou de doctorat en sociologie, sciences sociales, recherche sociale, démographie, criminologie, études de genre, études ethniques, politiques publiques, anthropologie ou dans un domaine étroitement apparenté.
• Solide maîtrise de la langue anglaise pour suivre les directives du projet, communiquer avec les équipes et fournir des commentaires écrits clairs.
• Plus de 3 ans d'expérience dans la recherche en sociologie, l'enseignement, l'analyse des politiques sociales, la recherche qualitative/quantitative, la rédaction académique, la révision en sciences sociales, la recherche communautaire ou des flux de travail connexes.
• Solide compréhension de la théorie sociologique, des institutions sociales, de l'inégalité, de la stratification, de la race/ethnicité, du genre, de la classe, de la culture, de la déviance, des organisations, du changement social, de la démographie et des méthodes de recherche.
• Capacité à évaluer du contenu sociologique par rapport à des grilles d'évaluation détaillées et à identifier des problèmes tels que des généralisations non fondées, des stéréotypes, des défauts méthodologiques, de faibles revendications causales, une simplification excessive, un cadrage biaisé ou une utilisation inexacte des concepts sociologiques.
• Une familiarité avec des domaines tels que la recherche par sondage, les entretiens, l'ethnographie, l'analyse statistique, la politique sociale, la sociologie urbaine, la sociologie de la famille, l'éducation, les disparités en matière de santé, le travail/les organisations ou la criminologie est préférée.
• Une expérience dans la direction ou le soutien d'équipes distantes de chercheurs, d'éducateurs, d'analystes, de réviseurs, d'annotateurs ou d'AQ est fortement souhaitée.
• À l'aise pour travailler dans des environnements distants en évolution rapide en utilisant des outils tels que Discord, Google Sheets, Google Docs, des outils de suivi, des tableaux de bord et des systèmes de gestion de projets.
• Grand souci du détail et sens de l'organisation, avec la capacité de maintenir des guides de style, des FAQ, des outils de suivi, du matériel d'intégration, des tâches de calibrage et de la documentation.
• Une expérience dans la formation en IA, l'annotation de données, l'évaluation de LLM, l'AQ en sciences sociales, la révision académique ou l'évaluation basée sur des grilles constitue un atout majeur.