Responsable de l'assurance qualité en histoire (QAL)

Dans ce rôle de prestataire à distance payé à l'heure, vous travaillerez en tant que responsable de l'assurance qualité en histoire (History Quality Assurance Lead - QAL) pour superviser la qualité, la cohérence et la performance des formateurs sur des projets d'entraînement en IA axés sur l'histoire. Vous examinerez le contenu historique généré par l'IA ainsi que le travail des formateurs et des responsables de l'assurance qualité, évaluerez la qualité des résultats par rapport aux directives du projet, fournirez des retours écrits précis et veillerez à ce que tous les contributeurs respectent les normes de qualité attendues.

Vous évaluerez le travail sous l'angle de l'exactitude historique, de la chronologie, de la connaissance des sources, de la causalité, du contexte, des nuances régionales et culturelles, de la qualité de l'interprétation, de la clarté, de la mise en page, du respect des consignes et de l'adhésion aux grilles d'évaluation spécifiques au projet. Vous repérerez les problèmes de qualité récurrents, communiquerez les mises à jour aux formateurs et aux équipes d'assurance qualité, soutiendrez l'intégration (onboarding), maintiendrez la documentation et contribuerez à réactiver les contributeurs qui ne travaillent pas de manière régulière. Ce rôle requiert une solide expertise en histoire, de fortes compétences en communication en anglais, une excellente attention aux détails, une communication structurée et la capacité à gérer des flux de travail axés sur la qualité au sein d'équipes d'experts à distance.

Ce rôle est proposé par SME Careers, une entreprise de services de données d'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement pour nombre des plus grandes entreprises d'IA et laboratoires de modèles fondateurs au monde. Votre leadership en matière de qualité historique contribuera directement à améliorer les principaux modèles d'IA de la planète en garantissant que les données d'entraînement en histoire sont exactes, contextualisées, équilibrées, bien expliquées, bien documentées et alignées sur les attentes des clients.

Le processus de sélection comprend un entretien par IA, une tâche spécifique au domaine et un entretien avec un recruteur.

Important :
Il n'y a pas de projet immédiat pour ce rôle ; cependant, si vous êtes qualifié, vous ferez partie des premiers experts que nous contacterons lorsque des opportunités pertinentes se présenteront. Cela vous donnera également accès à de futurs projets disponibles au sein de notre réseau d'experts.

Responsabilités

• Suivi de la qualité : Effectuer des contrôles ponctuels d'éléments historiques, identifier les problèmes de qualité, fournir des retours continus via messagerie directe et faire remonter les problèmes récurrents ou critiques.
• Revue historique : Évaluer les explications historiques générées par l'IA, les chronologies, les comparaisons, les résumés, les réponses fondées sur des sources et le raisonnement en termes d'exactitude, de contexte, d'équilibre et de clarté.
• Communication avec les formateurs et l'assurance qualité : Informer les formateurs et l'équipe d'assurance qualité sur Discord concernant les nouvelles directives d'articles, les changements de projet, les mises à jour des flux de travail, les attentes en matière de qualité et les normes de révision spécifiques à l'histoire.
• Gestion des questions : Répondre aux questions des formateurs et des équipes d'assurance qualité de manière claire et rapide, en particulier concernant la chronologie, le contexte historique, l'interprétation des sources, les interprétations controversées, les biais, la nuance régionale et l'interprétation de la grille d'évaluation.
• Gestion de l'activation des formateurs et de l'assurance qualité : Contacter par message direct les contributeurs inactifs ou qui ne travaillent pas, encourager leur activation, suivre les relances et signaler les problèmes de disponibilité si nécessaire.
• Documentation : Créer et tenir à jour la documentation du projet historique, y compris les guides de style, les outils de suivi, les FAQ, les notes de qualité, les exemples, les pièges (honeypots), les tâches de calibrage et le matériel d'intégration.
• Intégration et formation : Planifier et animer des appels d'intégration et de formation avec les formateurs et les équipes d'assurance qualité pour expliquer les attentes du projet, les flux de travail, les grilles d'évaluation, les normes de qualité et les exigences de révision spécifiques à l'histoire.
• Alignement de la qualité : Veiller à ce que tous les formateurs et l'équipe d'assurance qualité appliquent les directives de révision historique de manière cohérente et comprennent les mises à jour au fur et à mesure que les projets évoluent.
• Revue des risques et des biais : Signaler les affirmations historiques trompeuses, trop assurées, biaisées, culturellement insensibles, anachroniques ou mal sourcées.
• Amélioration des processus : Identifier les lacunes de qualité récurrentes, proposer des améliorations des flux de travail et contribuer à la mise en place de processus d'assurance qualité évolutifs pour les projets d'entraînement en IA axés sur l' histoire.

Exigences

• Licence (Bachelor), Master ou doctorat (PhD) en histoire, lettres classiques, études régionales, archéologie, histoire politique, histoire culturelle, relations internationales, sciences humaines ou dans un domaine étroitement apparenté.
• Maîtrise solide de la langue anglaise pour suivre les directives du projet, communiquer avec les équipes et fournir des retours écrits clairs.
• Plus de 3 ans d'expérience en recherche historique, enseignement, rédaction, édition, révision académique, travail muséal ou archivistique, développement de programmes d'études ou dans des flux de travail connexes en sciences humaines.
• Solide compréhension des méthodes historiques, de la chronologie, des sources primaires par rapport aux secondaires, de l'historiographie, de la causalité, de la continuité et du changement, du contexte régional et de l'interprétation fondée sur des preuves.
• Capacité à évaluer du contenu historique par rapport à des grilles d'évaluation détaillées et à identifier des problèmes tels que l'anachronisme, une chronologie incorrecte, des affirmations non étayées, une simplification excessive, un cadrage biaisé, des citations fabriquées ou des explications causales trompeuses.
• Une familiarité avec une ou plusieurs spécialisations historiques telles que l'histoire ancienne, l'histoire médiévale, l'histoire moderne, l'histoire mondiale, l'histoire militaire, l'histoire intellectuelle, l'histoire sociale, l'histoire économique, l'histoire coloniale ou postcoloniale, ou l'histoire régionale est un atout.
• Une expérience dans la direction ou le soutien d'équipes à distance de chercheurs, rédacteurs, réviseurs, éducateurs, annotateurs ou responsables de l'assurance qualité est fortement appréciée.
• Aisance à travailler dans des environnements distants en évolution rapide en utilisant des outils tels que Discord, Google Sheets, Google Docs, des outils de suivi, des tableaux de bord et des systèmes de gestion de projet.
• Grand souci du détail et organisation, avec la capacité de tenir à jour des guides de style, des FAQ, des outils de suivi, du matériel d'intégration, des tâches de calibrage et de la documentation.
• Une expérience en entraînement d'IA, annotation de données, évaluation de modèles de langage (LLM), assurance qualité académique, vérification des faits (fact-checking) ou révision basée sur une grille d'évaluation constitue un net avantage.