Responsable de l'assurance qualité en Red-Teaming (QAL)

Dans ce rôle de contractuel à distance rémunéré à l'heure, vous travaillerez en tant que responsable de l'assurance qualité (QAL) pour le Red-Teaming afin de superviser la qualité, la cohérence et les performances des formateurs sur les projets de red-teaming et d'évaluation de la sécurité de l'IA. Vous passerez en revue les évaluations de sécurité générées par l'IA, les invites contradictoires, les analyses de risques et le travail des formateurs/QA ; vous évaluerez la qualité des résultats par rapport aux directives du projet ; vous fournirez des commentaires écrits précis et veillerez à ce que tous les contributeurs respectent les normes de qualité attendues.

Vous évaluerez le travail sous l'angle de l'identification des risques, du raisonnement contradictoire, de la sensibilisation aux politiques, de l'alignement de la taxonomie de sécurité, de la qualité des invites, du réalisme des scénarios, de la couverture des vulnérabilités, de la clarté, du formatage, du suivi des instructions et du respect des grilles d'évaluation spécifiques au projet. Vous repérerez les problèmes de qualité récurrents, communiquerez les mises à jour aux formateurs et aux QA, soutiendrez l'intégration, maintiendrez la documentation et aiderez à réactiver les contributeurs qui ne travaillent pas de manière cohérente. Ce rôle exige un solide sens du jugement en matière de sécurité de l'IA et de red-teaming, de solides compétences en communication en anglais, une excellente attention aux détails, une communication structurée et la capacité de gérer des flux de travail qualité au sein d'équipes d'experts distantes.

Ce rôle est au sein de SME Careers, une entreprise de services de données d'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement pour nombre des plus grandes entreprises d'IA au monde et des laboratoires de modèles de fondation. Votre leadership en matière de qualité de red-teaming contribuera directement à améliorer les principaux modèles d'IA du monde en veillant à ce que les données d'entraînement à la sécurité soient réalistes, nuancées, alignées sur les politiques, bien documentées et utiles pour identifier les vulnérabilités des modèles.

Le processus de sélection comprend un entretien par IA, une tâche spécifique au domaine et un entretien avec un recruteur.

Important :
Il n'y a pas de projet immédiat pour ce rôle ; cependant, si vous êtes qualifié, vous serez parmi les premiers experts contactés lorsque des opportunités pertinentes se présenteront. Cela vous donnera également accès à de futurs projets disponibles via notre réseau d'experts.

Responsabilités

• Surveillance de la qualité : Effectuez des contrôles ponctuels des éléments de red-teaming, identifiez les problèmes de qualité, fournissez des commentaires continus via les messages directs et transmettez les problèmes récurrents ou critiques.
• Examen de la sécurité et du red-team : Évaluez les invites contradictoires, les réponses des modèles, les classifications des risques, les analyses de sécurité, les explications des politiques et les rapports de vulnérabilité pour en vérifier l'exactitude, le réalisme et l'utilité.
• Communication avec les formateurs et les QA : Informez les formateurs et les QA sur Discord des nouvelles directives de projet, des changements de projet, des mises à jour des flux de travail, des attentes en matière de qualité et des normes d'examen spécifiques au red-teaming.
• Gestion des questions : Répondez aux questions des formateurs/QA de manière claire et rapide, en particulier concernant les catégories de risques, la stratégie contradictoire, les limites des politiques, les cas limites, la gravité et l'interprétation des grilles d'évaluation.
• Gestion de l'activation des formateurs/QA : Contactez par message direct les contributeurs inactifs ou qui ne travaillent pas, encouragez leur activation, suivez les relances et signalez les problèmes de disponibilité si nécessaire.
• Documentation : Créez et maintenez la documentation des projets de red-teaming, y compris les guides de style, les outils de suivi, les FAQ, les notes de qualité, les exemples, les honeypots, les tâches de calibration et le matériel d'intégration.
• Intégration et formation : Planifiez et animez des appels d'intégration/formation avec les formateurs et les QA pour expliquer les attentes du projet, les flux de travail, les grilles d'évaluation, les normes de qualité et les exigences d'examen spécifiques au red-teaming.
• Alignement de la qualité : Veillez à ce que tous les formateurs et les QA appliquent de manière cohérente les directives de red-teaming et d'examen de la sécurité et comprennent les mises à jour au fur et à mesure de l'évolution des projets.
• Examen des risques : Signalez les éléments de red-team non sécurisés, de faible qualité, irréalistes, non conformes aux politiques ou insuffisamment documentés.
• Amélioration des processus : Identifiez les lacunes récurrentes en matière de qualité, proposez des améliorations des flux de travail et contribuez à la mise en place de processus d'AQ évolutifs pour les projets de red-teaming d'IA.

Exigences

• Licence, Master ou expérience professionnelle en informatique, cybersécurité, sécurité de l'IA, confiance et sécurité, politiques publiques, psychologie, linguistique, droit, études de sécurité, analyse des risques ou dans un domaine connexe.
• Forte maîtrise de la langue anglaise pour suivre les directives du projet, communiquer avec les équipes et fournir des commentaires écrits clairs.
• Plus de 3 ans d'expérience en matière de sécurité de l'IA, red-teaming, cybersécurité, confiance et sécurité, politique de contenu, analyse des risques, tests contradictoires, évaluation de modèles, modération de contenu ou flux de travail connexes.
• Solide compréhension des catégories de risques liés à l'IA, des invites contradictoires, des modèles de jailbreak, des taxonomies de contenu nuisible, des scénarios d'utilisation abusive, de l'interprétation des politiques, du comportement des modèles et des principes d'évaluation de la sécurité.
• Capacité à évaluer le contenu du red-teaming par rapport à des grilles d'évaluation détaillées et à identifier des problèmes tels qu'une conception contradictoire faible, des scénarios irréalistes, une mauvaise catégorisation des risques, une mauvaise interprétation des politiques, des sorties non sécurisées ou des tests de vulnérabilité superficiels.
• Une familiarité avec des domaines tels que l'injection d'invites, l'ingénierie sociale, l'abus de cybersécurité, la fraude, la sécurité liée à l'automutilation, le contenu extrémiste, la désinformation, le risque pour la vie privée, le comportement illicite, les biais et le comportement de refus du modèle est privilégiée.
• Une expérience dans la direction ou le soutien d'équipes distantes de red-teamers, d'examinateurs, d'analystes de politiques, d'annotateurs, de chercheurs ou de QA est vivement souhaitée.
• À l'aise pour travailler dans des environnements distants en évolution rapide utilisant des outils tels que Discord, Google Sheets, Google Docs, des outils de suivi, des tableaux de bord et des systèmes de gestion de projets.
• Grand souci du détail et sens de l'organisation, avec la capacité de tenir à jour des guides de style, des FAQ, des outils de suivi, du matériel d'intégration, des tâches de calibration et de la documentation.
• Une expérience dans l'entraînement de l'IA, l'évaluation des LLM, les évaluations de la sécurité, l'AQ de modération de contenu, l'AQ des politiques ou l'examen basé sur des grilles d'évaluation constitue un atout majeur.