Spécialiste en droit et conformité, conception de grilles d'évaluation

Dans ce rôle de contractant à distance et rémunéré à l'heure, vous travaillerez en tant qu'expert (SME) en droit et conformité pour créer des questions professionnelles complexes, évaluer du contenu juridique et réglementaire généré par l'IA, et concevoir des grilles d'évaluation (rubrics) de haute qualité définissant ce qu'une réponse complète, argumentée et professionnellement adaptée doit contenir.

Vous développerez des tâches impliquant l'analyse juridique, l'interprétation réglementaire, la conformité, l'identification des problèmes, l'évaluation des risques, l'interprétation des politiques, les contrats, la confidentialité, la réglementation financière, les questions d'emploi, la conformité d'entreprise ou des domaines connexes selon votre spécialisation.

Vous évaluerez si les réponses générées par l'IA identifient les problèmes pertinents, appliquent les règles ou normes appropriées, reconnaissent les exceptions, distinguent les faits des hypothèses, traitent les risques pertinents et évitent les conclusions non fondées.

Une composante majeure de ce rôle est la rédaction de grilles d'évaluation et la conception d'évaluations. Vous traduirez un jugement juridique ou réglementaire nuancé en critères structurés couvrant l'identification des problèmes, les normes applicables, la qualité de l'analyse, l'exhaustivité, les exceptions, les considérations juridictionnelles, les risques et le raisonnement professionnel.

Ce rôle est proposé par SME Careers, une entreprise de services de données pour l'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement pour nombre des plus grandes entreprises d'IA et laboratoires de modèles de fondation au monde. Votre expertise contribue directement à améliorer les principaux modèles d'IA au monde en rendant leurs résultats juridiques et de conformité plus précis, rigoureux et professionnellement fiables.

Responsabilités

• Créer des tâches juridiques et de conformité : développer des scénarios réalistes et difficiles nécessitant une analyse experte et un jugement professionnel.
• Concevoir des grilles d'évaluation détaillées : définir les problèmes pertinents, les règles, les normes, les étapes analytiques, les exceptions, les risques et les erreurs critiques.
• Évaluer l'analyse générée par l'IA : apprécier les réponses sous l'angle de l'exactitude, de l'exhaustivité, de la qualité du raisonnement, de la pertinence et de la rigueur professionnelle.
• Examiner l'identification des problèmes : déterminer si le modèle identifie les considérations juridiques ou réglementaires substantielles.
• Évaluer la qualité du raisonnement : identifier les conclusions non fondées, l'application incorrecte de règles, les exceptions manquantes et les hypothèses erronées.
• Critiquer les grilles d'évaluation des pairs : examiner les grilles pour y déceler les problèmes manquants, l'ambiguïté, la redondance, la subjectivité excessive ou des attentes juridiques inexactes.
• Développer du contenu de référence : créer des analyses de haute qualité, des cadres de réponse, des critiques et des exemples de référence (gold-standard).
• Soutenir l'entraînement de l'IA : produire des questions, des grilles d'évaluation, des évaluations, des données de préférence et des paires de réponses de référence pour les flux de travail RL et SFT.
• Maintenir une qualité professionnelle : veiller à ce que le contenu distingue de manière appropriée l'analyse factuelle, l'interprétation juridique, le jugement professionnel et l'incertitude.

Exigences

• Diplôme de droit (JD, LLB, LLM ou équivalent), qualification en conformité ou parcours professionnel équivalent pertinent pour la spécialité indiquée.
• Une qualification juridique professionnelle ou une admission au barreau est fortement privilégiée pour les rôles axés sur la profession d'avocat.
• Forte maîtrise professionnelle de l'anglais, niveau C1 minimum.
• Plus de 3 ans d'expérience professionnelle en droit, conformité réglementaire, recherche juridique, politiques, risques, confidentialité, conformité financière, contrats ou dans un domaine connexe.
• Expertise démontrée dans un domaine juridique, réglementaire ou de conformité clairement défini.
• Capacité à créer des scénarios professionnels complexes nécessitant l'identification de problèmes, l'interprétation, l'analyse et le jugement.
• Forte capacité à concevoir des grilles d'évaluation définissant les problèmes requis, les normes applicables, les étapes de raisonnement, les exceptions pertinentes, les risques et les omissions critiques.
• Capacité à distinguer entre des interprétations juridiques alternatives légitimes et une analyse objectivement déficiente.
• Aptitude à examiner et critiquer des grilles d'évaluation développées par d'autres experts juridiques ou en conformité.
• Une grande attention aux détails lors de l'évaluation de la terminologie, des hypothèses factuelles, de la juridiction, de l'autorité, des exceptions, de l'importance matérielle et des conclusions.
• Une expérience en matière de pédagogie juridique, de rédaction d'examens, d'évaluation par les pairs, d'édition juridique, d'assurance qualité, de rédaction de politiques, de tests de conformité ou de révision hiérarchique est fortement privilégiée.
• Une expérience préalable en évaluation de l'IA, IA juridique, annotation de données, RLHF, étalonnage de modèles (benchmarking) ou notation par grille d'évaluation est souhaitée.