Responsable de l'assurance qualité en économie (QAL)

Dans ce rôle de prestataire à distance et rémunéré à l'heure, vous travaillerez en tant que responsable de l'assurance qualité en économie (Economics Quality Assurance Lead - QAL) pour superviser la qualité, la cohérence et les performances des formateurs sur les projets d'entraînement en IA axés sur l'économie. Vous réviserez du contenu économique généré par l'IA ainsi que le travail des formateurs et des responsables QA, évaluerez la qualité des livrables par rapport aux directives du projet, fournirez des retours écrits précis et veillerez à ce que tous les contributeurs respectent les normes de qualité attendues.

Vous évaluerez les travaux sous l'angle de la rigueur économique, du raisonnement du modèle, des hypothèses, de l'interprétation des données, de l'exactitude des calculs, de l'interprétation des graphiques, des nuances politiques, de la clarté, de la mise en page, du respect des consignes et de l'adhésion aux grilles d'évaluation spécifiques au projet. Vous repérerez les problèmes de qualité récurrents, communiquerez les mises à jour aux formateurs et aux équipes QA, soutiendrez l'intégration, maintiendrez la documentation et contribuerez à réactiver les contributeurs qui ne travaillent pas de manière régulière. Ce rôle requiert une solide expertise en économie, d'excellentes compétences en communication en anglais, un grand souci du détail, une communication structurée et la capacité à gérer des flux de travail axés sur la qualité au sein d'équipes d'experts à distance.

Ce poste est proposé par SME Careers, une entreprise de services de données pour l'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement pour nombre des plus grandes entreprises d'IA et laboratoires de modèles fondateurs au monde. Votre leadership en matière de qualité économique contribuera directement à améliorer les principaux modèles d'IA mondiaux en garantissant que les données d'entraînement en économie sont exactes, solides sur le plan analytique, bien expliquées, conscientes des hypothèses et alignées sur les attentes des clients.

Le processus de sélection comprend un entretien avec une IA, un test technique spécifique au domaine et un entretien avec un recruteur.

Important :
Il n'y a pas de projet immédiat pour ce poste ; toutefois, si vous êtes qualifié, vous ferez partie des premiers experts que nous contacterons lorsque des opportunités pertinentes se présenteront. Cela vous donnera également accès à de futurs projets disponibles au sein de notre réseau d'experts.

Responsabilités

• Suivi de la qualité : effectuer des contrôles ponctuels sur les éléments économiques, identifier les problèmes de qualité, fournir un retour d'information continu par message direct et signaler les problèmes récurrents ou critiques.
• Évaluation économique : évaluer les explications économiques générées par l'IA, les calculs, les graphiques, les analyses de politiques, les interprétations de données et le raisonnement étape par étape pour en vérifier l'exactitude et la clarté.
• Communication avec les formateurs et l'équipe QA : tenir les formateurs et les équipes QA informés sur Discord des nouvelles directives, des changements de projet, des mises à jour des flux de travail, des attentes en matière de qualité et des normes de révision spécifiques à l'économie.
• Gestion des questions : répondre aux questions des formateurs et des équipes QA de manière claire et rapide, en particulier concernant les modèles économiques, les hypothèses, les formules, les graphiques, les relations de cause à effet, l'interprétation des données et l'interprétation des grilles d'évaluation.
• Gestion de l'activation des formateurs et de la QA : envoyer des messages aux contributeurs inactifs ou qui ne travaillent pas, encourager leur réactivation, assurer le suivi et signaler les problèmes de disponibilité si nécessaire.
• Documentation : créer et tenir à jour la documentation des projets économiques, y compris les guides de style, les outils de suivi, les FAQ, les notes de qualité, les exemples, les pièges (honeypots), les tâches de calibration et le matériel d'intégration.
• Intégration et formation : planifier et animer des sessions d'intégration et de formation avec les formateurs et les équipes QA afin d'expliquer les attentes du projet, les flux de travail, les grilles d'évaluation, les normes de qualité et les exigences de révision spécifiques à l'économie.
• Alignement sur la qualité : veiller à ce que tous les formateurs et équipes QA appliquent les directives de révision économique de manière cohérente et comprennent les mises à jour au fur et à mesure que les projets évoluent.
• Évaluation des risques : signaler les affirmations économiques trop sûres d'elles, trompeuses, biaisées sur le plan politique, statistiquement faibles ou dénuées d'hypothèses.
• Amélioration des processus : identifier les lacunes récurrentes en matière de qualité, proposer des améliorations des flux de travail et contribuer à la mise en place de processus QA évolutifs pour les projets d'entraînement en IA axés sur l'économie.

Profil recherché

• Diplôme de licence (Bachelor), de master ou de doctorat (PhD) en économie, économie appliquée, économétrie, politiques publiques, finance, statistiques, mathématiques ou dans un domaine connexe des sciences quantitatives ou sociales.
• Solide maîtrise de la langue anglaise pour suivre les directives du projet, communiquer avec les équipes et fournir des retours écrits clairs.
• Plus de 3 ans d'expérience en recherche économique, enseignement, analyse politique, conseil économique, analyse de données, économétrie, révision de contenu ou flux de travail analytiques connexes.
• Solide compréhension de la microéconomie, de la macroéconomie, des structures de marché, des incitations, de l'offre et de la demande, de l'élasticité, des externalités, de la politique monétaire et budgétaire, de l'inflation, du chômage, du commerce, de la croissance et du raisonnement économétrique de base.
• Capacité à évaluer du contenu économique par rapport à des grilles d'évaluation détaillées et à identifier des problèmes tels que des hypothèses erronées, un raisonnement causal faussé, des formules incorrectes, des graphiques trompeurs, des affirmations politiques non étayées, une mauvaise interprétation des données ou des conclusions trop simplistes.
• Une familiarité avec des outils ou des méthodes tels que l'analyse de régression, l'inférence causale, la modélisation économique, Excel, R, Python, Stata, les jeux de données publics, les notes d'orientation politique et la rédaction économique académique est un plus.
• Une expérience dans la direction ou le soutien d'équipes à distance composées d'analystes, de chercheurs, de réviseurs, d'éducateurs, d'annotateurs ou de responsables QA est fortement appréciée.
• Aptitude à travailler dans des environnements distants en évolution rapide en utilisant des outils tels que Discord, Google Sheets, Google Docs, des outils de suivi, des tableaux de bord et des systèmes de gestion de projets.
• Grand souci du détail et organisation, avec la capacité de tenir à jour des guides de style, des FAQ, des outils de suivi, du matériel d'intégration, des tâches de calibration et de la documentation.
• Une expérience dans l'entraînement d'IA, l'annotation de données, l'évaluation de LLM, l'assurance qualité économique, la révision académique ou l'évaluation basée sur des grilles est un atout majeur.