Principe
Chaque tâche est soumise à plusieurs annotateurs indépendants. L’algorithme de consensus compare leurs réponses et valide la tâche si une majorité suffisante s’accorde.Seuil de confiance
Le seuil est fixé à 0.67 (67 %).2/3 ne valide PAS. 0.6667 est strictement inférieur au seuil 0.67. Pour une tâche à 3 validations requises, il faut que les 3 soient concordantes (confidence 1.0), ou passer à 4-5 validations où 3/4 suffit.
Cycle de vie d’une tâche
validationsNeeded
Par défaut, 3 réponses sont collectées par tâche. Vous pouvez augmenter ce nombre à la création :
- 3 — tâches simples (choix binaire, classification évidente)
- 5 — tâches ambiguës (sentiment nuancé, modération)
- 7+ — décisions critiques, contenu légal, médical
Calcul de la confidence
Tâches FAILED
Quand le consensus ne peut pas être atteint :- La tâche passe en statut
FAILED - Aucun crédit n’est débité pour les tâches échouées
- Un webhook
task.failedest envoyé si configuré - Vous pouvez recréer la tâche avec
validationsNeededplus élevé
Taux d’échec typiques
Les tâches très subjectives ou ambiguës ont naturellement un taux d’échec plus élevé.