Spécialiste en soins de santé, conception de rubriques

Dans ce rôle de contractant à distance payé à l'heure, vous travaillerez en tant qu'expert en la matière (SME) en santé pour créer des questions de santé stimulantes et de niveau expert, évaluer du contenu clinique généré par IA et concevoir des grilles d'évaluation (rubrics) de haute qualité définissant ce qu'une réponse exacte, complète et professionnellement appropriée doit contenir.

Vous utiliserez votre expertise clinique ou professionnelle pour identifier les domaines où les modèles d'IA de pointe peuvent fournir des réponses incomplètes, inexactes, mal raisonnées, trop confiantes ou cliniquement inadéquates. Vous rédigerez des questions spécialisées dans votre domaine, développerez des critères de notation détaillés, critiquerez des grilles d'évaluation créées par d'autres professionnels de la santé et fournirez des commentaires écrits précis.

L'un des axes principaux de ce rôle est la conception de grilles d'évaluation et l'évaluation par des experts. Vous définirez les concepts cliniques essentiels, les étapes de raisonnement, les mises en garde pertinentes, les approches alternatives acceptables, les omissions importantes et les erreurs critiques qui distinguent les réponses superficielles des réponses de niveau expert.

Ce rôle est proposé par SME Careers, une entreprise de services de données d'IA en forte croissance et filiale de SuperAnnotate, qui fournit des données d'entraînement pour nombre des plus grandes entreprises d'IA et laboratoires de modèles de fondation au monde. Votre expertise en santé aide directement à améliorer les principaux modèles d'IA du monde en rendant leurs réponses plus précises, cliniquement appropriées, rigoureuses et fiables.

Responsabilités

• Créer des questions de santé expertes : développer des questions spécialisées capables d'exposer les limites des systèmes d'IA avancés.
• Concevoir des grilles d'évaluation détaillées : définir les composants requis pour une réponse exacte, complète et cliniquement appropriée.
• Identifier les critères critiques : distinguer le raisonnement clinique essentiel des informations complémentaires.
• Évaluer les réponses de l'IA : analyser les sorties des modèles pour vérifier l'exactitude factuelle, le raisonnement, la sécurité, l'exhaustivité et la qualité professionnelle.
• Identifier les failles subtiles : détecter les considérations manquantes, les hypothèses non fondées, la certitude inappropriée et les omissions cliniquement importantes.
• Critiquer les grilles des pairs : identifier l'ambiguïté, la redondance, les attentes incorrectes, les critères manquants ou une mauvaise conception de la notation.
• Développer des réponses de référence : produire des exemples d'experts, des explications, des critiques et du contenu de référence (gold-standard).
• Soutenir l'entraînement de l'IA : générer des questions, des grilles d'évaluation, des évaluations, des critiques et des paires de réponses de référence pour les flux de travail de RL et SFT.
• Maintenir la qualité clinique : veiller à ce que le contenu reflète une terminologie appropriée, un raisonnement professionnel et un jugement tenant compte des données probantes.

Exigences

• Diplôme professionnel, licence, accréditation ou qualification reconnue en médecine, dentisterie, pharmacie, soins infirmiers ou autre discipline de la santé.
• Solide maîtrise professionnelle de l'anglais, minimum C1.
• 3 ans et plus d'expérience professionnelle ou clinique ; les professionnels de niveau senior et spécialiste sont fortement privilégiés.
• Expertise démontrée dans une spécialité ou sous-spécialité clairement définie.
• Capacité à développer des questions cliniques ou professionnelles stimulantes qui requièrent une véritable expertise et un jugement nuancé.
• Solide capacité à rédiger des grilles d'évaluation détaillées définissant les faits requis, les étapes de raisonnement, les mises en garde, les alternatives acceptables et les erreurs cliniques critiques.
• Capacité à distinguer les omissions et erreurs mineures de celles qui affectent matériellement la qualité ou la sécurité clinique.
• Aptitude à examiner et critiquer les grilles d'évaluation créées par d'autres professionnels de la santé.
• Capacité à évaluer les sorties de l'IA en matière d'exactitude, d'exhaustivité, de qualité de raisonnement, de sécurité, de calibrage et de pertinence clinique.
• Une expérience en éducation médicale, rédaction d'examens, évaluation des compétences, directives cliniques, enseignement, évaluation par les pairs ou assurance qualité est fortement privilégiée.
• Une expérience préalable en évaluation d'IA, RLHF, SFT, annotation de données, étiquetage de modèles ou notation par grille est un plus.
• Fiable, autonome et capable de produire un travail écrit cohérent.