Spécialiste STEM et Technique, Conception de Rubriques

Dans ce rôle de contractuel indépendant et à distance, rémunéré à l'heure, vous travaillerez en tant qu'expert technique et scientifique (SME) pour concevoir des questions stimulantes de niveau expert, évaluer du contenu technique généré par IA et concevoir des barèmes d'évaluation détaillés qui définissent ce qu'une réponse correcte, rigoureuse et de qualité experte doit contenir.

Vous développerez des problèmes dans votre domaine d'expertise qui testent un raisonnement avancé plutôt qu'une simple mémorisation de faits. Vous identifierez les faiblesses des modèles d'IA de pointe, notamment les hypothèses incorrectes, les raisonnements incomplets, les erreurs mathématiques ou scientifiques, les cas limites ignorés et les réponses qui semblent plausibles mais échouent sous un examen minutieux.

Un axe majeur de ce rôle est la conception et la rédaction de barèmes d'évaluation. Vous traduirez des jugements techniques complexes en critères d'évaluation clairs, spécifiques et mesurables, incluant les concepts requis, les étapes de raisonnement, les approches alternatives acceptables, les erreurs critiques et les considérations de notation partielle. Vous pourrez également critiquer et améliorer les barèmes développés par d'autres experts.

Ce rôle est proposé par SME Careers, une entreprise de services de données pour l'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement à nombre des plus grandes entreprises d'IA et laboratoires de modèles fondateurs au monde. Votre expertise technique contribue directement à améliorer les principaux modèles d'IA mondiaux en rendant leur raisonnement plus précis, rigoureux et fiable.

Responsabilités

• Créer des questions techniques de niveau expert : développer des questions difficiles qui testent un véritable raisonnement technique et exposent les faiblesses des systèmes d'IA avancés.
• Concevoir des barèmes d'évaluation : rédiger des critères structurés définissant ce qu'une réponse correcte, rigoureuse et complète doit contenir.
• Définir des normes de notation partielle : identifier les étapes de raisonnement essentielles, les alternatives acceptables, les erreurs mineures et les défaillances critiques.
• Évaluer les solutions générées par l'IA : évaluer les résultats quant à leur exactitude, la qualité du raisonnement, l'exhaustivité, la méthodologie et la précision technique.
• Identifier les erreurs de raisonnement cachées : détecter les cas où une réponse parvient à la conclusion correcte en utilisant des hypothèses non valides ou une logique erronée.
• Critiquer les barèmes des pairs : examiner les critères d'autres experts pour en vérifier l'exactitude technique, la clarté, l'exhaustivité et la cohérence de notation.
• Développer du contenu de référence : produire des réponses d'experts, des explications, des critiques et d'autres contenus de référence de premier ordre.
• Soutenir l'entraînement de l'IA : créer des questions, des barèmes, des évaluations, des jugements de préférence et des paires de réponses de référence adaptées aux flux de travail RL et SFT.
• Maintenir la rigueur technique : veiller à ce que le contenu reflète des normes professionnelles ou académiques appropriées dans la discipline concernée.

Exigences

• Licence (Bachelor) ou diplôme supérieur en mathématiques, physique, chimie, ingénierie, informatique, statistiques, sciences appliquées ou autre discipline technique.
• Solide maîtrise professionnelle de l'anglais, minimum C1, avec la capacité de rédiger des explications techniques et des critères d'évaluation précis.
• Plus de 3 ans d'expérience professionnelle, académique, de recherche ou industrielle dans le domaine technique spécifié.
• Expertise avancée démontrée dans un domaine technique ou une spécialisation clairement défini.
• Capacité à créer des questions techniques stimulantes nécessitant un raisonnement en plusieurs étapes, une expertise sectorielle ou un jugement professionnel.
• Solide aptitude à concevoir des barèmes d'évaluation détaillés définissant le raisonnement requis, la méthodologie correcte, les alternatives acceptables, les critères de notation partielle et les erreurs critiques.
• Capacité à faire la distinction entre une réponse finale correcte et une réponse étayée par un raisonnement valide par opposition à un raisonnement erroné.
• Aptitude à examiner et critiquer les barèmes d'autres experts pour détecter toute ambiguïté, critère manquant, redondance, inexactitude technique ou conception de notation inadéquate.
• Grand souci du détail lors de l'évaluation des formules, hypothèses, unités, méthodologie, cas limites, cohérence logique et terminologie technique.
• Une expérience en rédaction d'examens, correction académique, évaluation par les pairs, révision de recherche, AQ technique, élaboration de normes ou conception d'évaluations est fortement souhaitée.
• Une expérience préalable en évaluation d'IA, RLHF, SFT, benchmarking, annotation de données, conception de prompts ou évaluation de LLM est un plus.
• Fiable, autonome et capable de fournir une qualité constante dans le cadre d'un flux de travail de contractuel à distance et rémunéré à l'heure.