Skip to main content

Principe

Chaque tâche est soumise à plusieurs annotateurs indépendants. L’algorithme de consensus compare leurs réponses et valide la tâche si une majorité suffisante s’accorde.

Seuil de confiance

Le seuil est fixé à 0.67 (67 %).
2/3 ne valide PAS. 0.6667 est strictement inférieur au seuil 0.67. Pour une tâche à 3 validations requises, il faut que les 3 soient concordantes (confidence 1.0), ou passer à 4-5 validations où 3/4 suffit.

Cycle de vie d’une tâche


validationsNeeded

Par défaut, 3 réponses sont collectées par tâche. Vous pouvez augmenter ce nombre à la création :
Recommandations :
  • 3 — tâches simples (choix binaire, classification évidente)
  • 5 — tâches ambiguës (sentiment nuancé, modération)
  • 7+ — décisions critiques, contenu légal, médical

Calcul de la confidence


Tâches FAILED

Quand le consensus ne peut pas être atteint :
  • La tâche passe en statut FAILED
  • Aucun crédit n’est débité pour les tâches échouées
  • Un webhook task.failed est envoyé si configuré
  • Vous pouvez recréer la tâche avec validationsNeeded plus élevé

Taux d’échec typiques

Les tâches très subjectives ou ambiguës ont naturellement un taux d’échec plus élevé.

Améliorer la qualité

1. Rédigez des options claires et mutuellement exclusives
2. Ajoutez des instructions dans le contenu
3. Utilisez les golden tasks Des golden tasks bien calibrées filtrent les annotateurs inattentifs, améliorant automatiquement la qualité du consensus.