Responsable de l'assurance qualité juridique (QAL)

Dans le cadre de ce rôle de contractant à distance et rémunéré à l'heure, vous travaillerez en tant que Lead Quality Assurance (QAL) en droit pour superviser la qualité, la cohérence et les performances des formateurs sur les projets d'entraînement d'IA juridique. Vous réviserez le contenu juridique généré par l'IA ainsi que le travail des formateurs et des QA, évaluerez la qualité des résultats par rapport aux directives du projet, fournirez un retour écrit précis et veillerez à ce que tous les contributeurs respectent les normes de qualité attendues.

Vous évaluerez le travail sous l'angle de la qualité du raisonnement juridique, de l'identification des problèmes, de la sensibilité juridictionnelle, du traitement des citations et des sources, de la clarté, de la sensibilisation aux risques, du formatage, du respect des instructions et de l'adhésion aux grilles d'évaluation (rubrics) spécifiques au projet. Vous repérerez les problèmes de qualité récurrents, communiquerez les mises à jour aux formateurs et aux QA, soutiendrez l'intégration (onboarding), tiendrez à jour la documentation et contribuerez à réactiver les contributeurs qui ne travaillent pas de manière régulière. Ce rôle exige une solide expertise juridique, de fortes compétences en communication en anglais, un excellent souci du détail, une communication structurée et la capacité à gérer des flux de travail de qualité au sein d'équipes de révision juridique à distance.

Ce rôle est proposé par SME Careers, une entreprise de services de données d'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement pour nombre des plus grandes entreprises d'IA et laboratoires de modèles de fondation au monde. Votre leadership en matière de qualité juridique contribuera directement à améliorer les premiers modèles d'IA mondiaux en garantissant que les données d'entraînement juridiques sont exactes, solidement argumentées, clairement expliquées, adéquatement prudentes, bien documentées et alignées sur les attentes des clients.

Le processus de sélection comprend un entretien par IA, une tâche spécifique au domaine et un entretien avec un recruteur.

Important :
Il n'y a pas de projet immédiat pour ce rôle ; cependant, si vous êtes qualifié, vous ferez partie des premiers experts contactés lorsque des opportunités pertinentes se présenteront. Cela vous donnera également accès à de futurs projets disponibles via notre réseau d'experts.

Responsabilités

• Suivi de la qualité : Effectuer des contrôles ponctuels des éléments juridiques, identifier les problèmes de qualité, fournir un retour continu via des messages directs (DM) et faire remonter les problèmes récurrents ou critiques.
• Révision juridique : Évaluer les explications juridiques générées par l'IA, les réponses de recherche juridique, les analyses de contrats, les interprétations de politiques, les résumés de jurisprudence, les conseils en matière de conformité et les flux de travail d'identification des problèmes pour en vérifier l'exactitude, la clarté et la prudence appropriée.
• Communication avec les formateurs et les QA : Mettre à jour les formateurs et les QA sur Discord concernant les nouvelles directives d'articles, les changements de projet, les mises à jour des flux de travail, les attentes en matière de qualité et les normes spécifiques à la révision juridique.
• Gestion des questions : Répondre aux questions des formateurs et des QA clairement et rapidement, en particulier concernant le raisonnement juridique, la juridiction, les citations, la qualité des sources, les clauses de non-responsabilité (disclaimers), le langage contractuel, l'interprétation de la conformité et l'application des grilles d'évaluation.
• Gestion de l'activation des formateurs et des QA : Envoyer des messages directs aux contributeurs inactifs ou qui ne travaillent pas, encourager leur activation, suivre les relances et signaler les problèmes de disponibilité si nécessaire.
• Documentation : Créer et maintenir la documentation des projets juridiques, y compris les guides de style, les outils de suivi, les FAQ, les notes de qualité, les exemples, les honeypots, les tâches de calibrage et le matériel d'intégration.
• Intégration et formation : Planifier et animer des appels d'intégration et de formation avec les formateurs et les QA pour expliquer les attentes du projet, les flux de travail, les grilles d'évaluation, les normes de qualité et les exigences de révision spécifiques au droit.
• Alignement de la qualité : Veiller à ce que tous les formateurs et les QA appliquent les directives de révision juridique de manière cohérente et comprennent les mises à jour au fur et à mesure de l'évolution des projets.
• Évaluation des risques et de la sécurité : Signaler les résultats juridiques non sécurisés, trompeurs, trop assurés ou inappropriés sur le plan juridictionnel, en particulier lorsque le contenu pourrait être interprété comme un avis juridique personnalisé.
• Amélioration des processus : Identifier les lacunes récurrentes en matière de qualité, proposer des améliorations des flux de travail et contribuer à la mise en place de processus de QA évolutifs pour les projets d'entraînement d'IA juridique.

Prérequis

• Diplôme de licence (Bachelor), JD, LLB, LLM ou diplôme équivalent en droit, études juridiques, études de parajuriste, conformité, politiques publiques ou dans un domaine étroitement apparenté.
• Solide maîtrise de la langue anglaise pour suivre les directives du projet, communiquer avec les équipes et fournir des commentaires clairs de révision juridique en anglais.
• Plus de 3 ans d'expérience professionnelle en pratique juridique, recherche juridique, révision de contrats, conformité, analyse réglementaire, travail de parajuriste, opérations juridiques, rédaction juridique, enseignement juridique ou flux de travail connexes.
• Solide compréhension des concepts juridiques fondamentaux tels que le raisonnement juridique, l'identification des problèmes, l'interprétation des contrats, la recherche juridique, l'interprétation des lois, l'analyse de jurisprudence, la conformité, l'évaluation des risques et les normes de rédaction juridique.
• Capacité à évaluer le contenu juridique par rapport à des grilles d'évaluation détaillées et à identifier des problèmes tels que des conclusions non étayées, des citations hallucinées, une inadaptation juridictionnelle, un avis juridique trop assuré, des réserves manquantes, des normes juridiques incorrectes, un raisonnement incomplet ou des explications peu claires.
• Une familiarité avec les flux de travail ou outils juridiques courants tels que la révision de contrats, les mémorandums juridiques, les résumés de jurisprudence, les orientations réglementaires, la vérification des citations, les bases de données juridiques, la révision de documents, les listes de contrôle de conformité ou l'analyse de politiques est un atout.
• Une expérience dans la direction ou le soutien d'équipes à distance composées de formateurs, d'annotateurs, de réviseurs, d'avocats, de parajuristes, de rédacteurs juridiques, de chercheurs ou de QA est fortement appréciée.
• A l'aise pour travailler dans des environnements à distance en évolution rapide utilisant des outils tels que Discord, Google Sheets, Google Docs, des outils de suivi, des tableaux de bord et des systèmes de gestion de projets.
• Grand souci du détail et sens de l'organisation, avec la capacité de tenir à jour des guides de style, des FAQ, des outils de suivi, du matériel d'intégration, des honeypots, des tâches de calibrage et toute autre documentation relative à la qualité.
• Une expérience en matière d'entraînement d'IA, d'annotation de données, de grands modèles de langage (LLM), d'évaluation de requêtes/réponses, de QA de contenu juridique ou d'évaluation de LLM basée sur des grilles d'évaluation constitue un atout majeur.