Fiche – Annotation des données et entraînement des systèmes d’intelligence artificielle

1er août 2026.

Présentation générale

L’annotation des données désigne l’opération par laquelle des données brutes sont enrichies, classées, qualifiées, corrigées ou évaluées afin de pouvoir être utilisées pour entraîner, tester, valider ou améliorer un système d’intelligence artificielle.

Elle peut porter sur :

  • des textes ;
  • des images ;
  • des sons ;
  • des vidéos ;
  • des conversations ;
  • des décisions de justice ;
  • des contrats ;
  • des dossiers médicaux ;
  • des données issues de capteurs ;
  • des productions générées par un modèle.

L’annotation peut consister, par exemple, à :

  • entourer un objet dans une photographie ;
  • attribuer une catégorie à un document ;
  • transcrire un enregistrement ;
  • identifier les personnes, lieux ou dates d’un texte ;
  • distinguer les faits, les prétentions et la solution d’une décision de justice ;
  • indiquer si une réponse générée est exacte, utile, dangereuse ou biaisée ;
  • classer un contenu comme violent, haineux ou sexuellement explicite ;
  • comparer plusieurs réponses afin de déterminer laquelle est préférable.

L’annotation constitue une étape centrale de l’apprentissage supervisé, dans lequel le modèle apprend à partir d’exemples préalablement qualifiés. Elle intervient également dans la validation des modèles non supervisés, le réglage fin des grands modèles de langage, l’apprentissage par préférences humaines et l’évaluation des systèmes après leur entraînement.

L’expression « données d’entraînement » recouvre toutefois une réalité plus large. Le cycle de développement comprend généralement :

  1. la collecte ou l’acquisition des données ;
  2. leur nettoyage ;
  3. leur déduplication ;
  4. leur annotation ;
  5. leur division en jeux d’entraînement, de validation et de test ;
  6. l’entraînement du modèle ;
  7. son évaluation ;
  8. son éventuel réglage fin ;
  9. sa surveillance après déploiement.

La qualité de l’annotation influence directement la qualité du système. Une consigne ambiguë, des catégories incohérentes ou un groupe d’annotateurs insuffisamment formé peuvent introduire des erreurs structurelles que le modèle reproduira ensuite à grande échelle.

L’annotation ne constitue donc pas une opération purement technique. Elle implique des choix sur ce qui doit être considéré comme :

  • exact ou inexact ;
  • pertinent ou non pertinent ;
  • normal ou anormal ;
  • licite ou illicite ;
  • offensant ou acceptable ;
  • juridiquement qualifié ou non qualifié.

Elle soulève en conséquence des questions de protection des données, de droit d’auteur, de qualité, de biais, de responsabilité, de sécurité, de transparence et de conditions de travail.

La CNIL considère l’annotation comme une phase déterminante du développement d’un modèle, à la fois pour sa performance et pour la protection des droits des personnes. Elle recommande une méthodologie documentée, un contrôle de la qualité et des mesures particulières lorsque les annotations contiennent des données personnelles ou sensibles.


Points essentiels

  • L’annotation transforme une donnée brute en donnée exploitable par un système d’IA.
  • Elle peut être humaine, automatisée ou hybride.
  • L’annotation humaine reste essentielle pour les tâches nécessitant une appréciation contextuelle ou qualitative.
  • La qualité des annotations conditionne la performance, la sécurité et l’équité du modèle.
  • Une annotation peut elle-même constituer une donnée personnelle ou sensible.
  • Le RGPD peut s’appliquer aux données sources, aux annotations et au modèle entraîné.
  • L’AI Act impose des exigences de gouvernance et de qualité des données pour les systèmes à haut risque.
  • Les fournisseurs de modèles d’IA à usage général doivent documenter leur entraînement et publier un résumé suffisamment détaillé des contenus utilisés.
  • L’utilisation d’œuvres protégées pour l’entraînement doit être distinguée de la création d’annotations originales.
  • Les règles européennes de fouille de textes et de données peuvent autoriser certaines reproductions, sous réserve des conditions applicables et des réservations de droits.
  • Les annotateurs peuvent être exposés à des contenus violents, humiliants ou traumatisants.
  • Une partie importante du travail d’annotation est externalisée à des plateformes ou entreprises situées dans des pays à faibles revenus.
  • La sous-traitance n’exonère pas le fournisseur du système de ses obligations de qualité, de sécurité et de protection des données.
  • Les jeux d’entraînement, de validation et de test doivent être suffisamment distincts pour éviter une évaluation artificiellement favorable.
  • L’origine, la licence, la version et les transformations des données doivent être traçables.

1. Fonctions de l’annotation

1.1. Apprentissage supervisé

Dans l’apprentissage supervisé, le modèle reçoit des exemples comprenant :

  • une donnée d’entrée ;
  • une réponse ou une catégorie attendue.

Pour entraîner un système à reconnaître des animaux, des photographies peuvent être étiquetées « chat », « chien » ou « autre ».

Pour entraîner un outil juridique, une décision peut être annotée avec :

  • la juridiction ;
  • la date ;
  • la matière ;
  • les faits ;
  • la question de droit ;
  • le fondement ;
  • la solution ;
  • le sens de la décision.

Le modèle apprend ensuite à reproduire les relations observées entre les données et les étiquettes.

1.2. Validation et test

L’annotation permet également de constituer des jeux de référence servant à évaluer un modèle.

Le jeu de validation sert généralement à ajuster les paramètres et à choisir entre plusieurs versions.

Le jeu de test sert à mesurer les performances finales sur des données qui n’ont pas été utilisées pour l’apprentissage.

Une séparation insuffisante entre ces jeux peut créer une fuite de données : le modèle semble performant parce qu’il a déjà rencontré tout ou partie des exemples utilisés pour l’évaluer.

1.3. Réglage fin

Un modèle préentraîné peut être adapté à une tâche ou à un domaine grâce à un jeu de données spécialisé.

Le réglage fin peut porter sur :

  • la terminologie médicale ;
  • le raisonnement juridique ;
  • la relation client ;
  • la modération ;
  • une langue rare ;
  • un style rédactionnel ;
  • les règles internes d’une organisation.

1.4. Apprentissage à partir de préférences humaines

Pour les modèles génératifs, des annotateurs peuvent comparer plusieurs réponses et indiquer :

  • laquelle est la plus exacte ;
  • laquelle suit le mieux l’instruction ;
  • laquelle est la plus sûre ;
  • laquelle est la plus claire ;
  • laquelle contient une hallucination.

Ces préférences servent à ajuster le comportement du modèle.

L’intervention humaine ne consiste donc pas seulement à « étiqueter » des données. Elle peut contribuer à définir les normes de qualité et de comportement du système.


2. Principales formes d’annotation

Annotation de classification

Une donnée est rattachée à une catégorie.

Exemples :

  • contrat commercial ou contrat de travail ;
  • message frauduleux ou légitime ;
  • contenu violent ou non violent ;
  • décision favorable ou défavorable.

Annotation d’entités

L’annotateur identifie des éléments précis :

  • personnes ;
  • entreprises ;
  • lieux ;
  • dates ;
  • montants ;
  • numéros d’articles ;
  • médicaments ;
  • symptômes.

Annotation de segmentation

Une image, une vidéo ou un document est découpé en zones ou segments pertinents.

Annotation sémantique

L’annotateur qualifie le sens d’une phrase, d’un passage ou d’une relation.

Annotation de sentiment ou d’intention

Elle cherche à déterminer l’émotion, le ton ou l’objectif supposé d’un contenu.

Ces catégories peuvent être incertaines et culturellement dépendantes.

Transcription

Elle consiste à transformer un contenu audio ou manuscrit en texte exploitable.

Évaluation de sorties

Les annotateurs notent les réponses d’un modèle selon une grille :

  • exactitude ;
  • pertinence ;
  • toxicité ;
  • complétude ;
  • respect des instructions ;
  • présence de données personnelles ;
  • danger potentiel.

3. Annotation humaine, automatique et hybride

3.1. Annotation humaine

L’annotation humaine est privilégiée lorsque la tâche exige :

  • une compréhension contextuelle ;
  • une connaissance professionnelle ;
  • une appréciation culturelle ;
  • une interprétation juridique ou médicale ;
  • une évaluation éthique.

Elle présente toutefois des limites :

  • coût ;
  • lenteur ;
  • fatigue ;
  • subjectivité ;
  • variations entre annotateurs ;
  • erreurs liées à des consignes insuffisantes.

3.2. Annotation automatique

Un modèle existant peut produire de premières annotations.

Cette méthode permet de traiter rapidement de grands volumes, mais elle peut reproduire les erreurs et biais du système utilisé.

Une annotation automatique ne doit donc pas être présumée exacte.

3.3. Préannotation et validation humaine

Une méthode fréquente consiste à :

  1. produire une annotation automatique ;
  2. la soumettre à un annotateur humain ;
  3. lui demander de la confirmer ou de la corriger.

Cette approche réduit le temps de traitement, mais peut créer un biais d’ancrage : l’annotateur est influencé par la proposition initiale et corrige moins facilement une erreur plausible.

3.4. Données synthétiques

Des données générées artificiellement peuvent compléter des données réelles.

Elles peuvent être utiles pour :

  • augmenter un corpus limité ;
  • simuler des situations rares ;
  • équilibrer certaines catégories ;
  • réduire l’utilisation de données directement identifiantes.

Les données synthétiques ne sont cependant pas nécessairement :

  • anonymes ;
  • représentatives ;
  • dépourvues de biais ;
  • juridiquement libres de droits.

Elles peuvent reproduire des éléments du corpus d’origine ou amplifier ses défauts.


4. Qualité des annotations

4.1. Guide d’annotation

Un projet sérieux doit comporter un guide précisant :

  • les catégories ;
  • leur définition ;
  • les cas limites ;
  • les exemples positifs et négatifs ;
  • les règles de priorité ;
  • la procédure en cas de doute ;
  • les qualifications interdites.

Les consignes doivent être testées et actualisées.

4.2. Accord entre annotateurs

Lorsque plusieurs personnes annotent les mêmes données, il est possible de mesurer leur niveau d’accord.

Un faible accord peut révéler :

  • une tâche intrinsèquement ambiguë ;
  • des catégories mal définies ;
  • une formation insuffisante ;
  • des différences culturelles ou professionnelles.

Le désaccord ne constitue pas toujours une erreur. Il peut indiquer que la réalité ne peut pas être réduite à une seule catégorie certaine.

4.3. Qualification des annotateurs

Certaines tâches nécessitent une expertise.

L’annotation d’une radiographie ne peut pas être organisée comme le classement d’images ordinaires.

De même, l’annotation d’une décision de justice peut exiger de distinguer :

  • la solution du juge ;
  • les moyens des parties ;
  • les motifs surabondants ;
  • une règle générale ;
  • une appréciation propre aux faits de l’espèce.

4.4. Contrôle continu

La qualité doit être contrôlée par :

  • échantillonnage ;
  • double annotation ;
  • revue par un expert ;
  • traitement des désaccords ;
  • détection des anomalies ;
  • comparaison des performances entre groupes ;
  • suivi des corrections.

5. Annotation de données juridiques

L’annotation juridique peut porter sur :

  • des lois ;
  • des règlements ;
  • des décisions ;
  • des contrats ;
  • des consultations ;
  • des actes de procédure ;
  • des documents de conformité.

Une décision peut être enrichie avec :

  • la juridiction ;
  • la formation ;
  • la date ;
  • le numéro ;
  • les parties ;
  • les faits ;
  • la procédure ;
  • les prétentions ;
  • la question juridique ;
  • les textes cités ;
  • la solution ;
  • le dispositif.

La difficulté principale est que les catégories juridiques sont souvent contestables.

Une même décision peut être classée selon :

  • la matière principale ;
  • un point de procédure ;
  • un fondement subsidiaire ;
  • sa portée doctrinale ;
  • son intérêt pratique.

Une mauvaise annotation peut conduire un outil à :

  • confondre l’argument d’une partie avec la position du juge ;
  • présenter une décision isolée comme une jurisprudence constante ;
  • attribuer une règle à la mauvaise juridiction ;
  • ignorer qu’un texte a été modifié ;
  • traiter une décision infirmée comme encore pertinente.

Source Dabo Tibi Ius

Fiche – Jeu de données juridique et intelligence artificielle
https://dabotibius.ai/jeu-donnees-juridique-intelligence-artificielle/


6. Données personnelles et RGPD

6.1. Application du RGPD

Le RGPD s’applique lorsque les données sources ou les annotations concernent une personne identifiée ou identifiable.

Il peut s’agir :

  • d’un nom ;
  • d’un visage ;
  • d’une voix ;
  • d’un comportement ;
  • d’une opinion ;
  • d’une donnée médicale ;
  • d’une qualification attribuée à une personne.

L’annotation elle-même peut créer une donnée personnelle nouvelle.

Une photographie ordinaire peut, par exemple, recevoir l’étiquette :

  • « personne dépressive » ;
  • « opinion politique probable » ;
  • « comportement suspect » ;
  • « candidat peu fiable ».

6.2. Annotation sensible

La CNIL précise qu’une annotation peut être sensible au sens de l’article 9 du RGPD même si la donnée d’origine ne l’était pas.

Une photographie peut devenir une donnée sensible lorsqu’un annotateur lui attribue une information relative :

  • à la santé ;
  • à la religion ;
  • aux opinions politiques ;
  • à l’orientation sexuelle ;
  • à l’origine raciale ou ethnique.

Le traitement de telles annotations est en principe interdit sauf exception applicable.

6.3. Finalité et base juridique

Le responsable doit déterminer :

  • pourquoi les données sont annotées ;
  • pour quel système ;
  • pour quelle tâche ;
  • selon quelle base juridique ;
  • pendant quelle durée ;
  • avec quels destinataires.

La simple volonté de constituer une base « utile à l’IA » est trop générale.

6.4. Information des personnes

Les personnes doivent, en principe, être informées de l’utilisation de leurs données pour l’entraînement et de l’éventuelle annotation.

La CNIL recommande expressément d’intégrer cette phase dans l’information fournie.

6.5. Sous-traitance

Lorsque l’annotation est confiée à un prestataire, le contrat doit notamment préciser :

  • l’objet du traitement ;
  • les données ;
  • les instructions ;
  • les mesures de sécurité ;
  • les sous-traitants ultérieurs ;
  • les règles de restitution ou de suppression ;
  • les contrôles.

L’externalisation vers un autre État peut également constituer un transfert international.


7. Exigences de l’AI Act

7.1. Systèmes à haut risque

L’article 10 de l’AI Act impose aux systèmes d’IA à haut risque entraînés à partir de données d’utiliser des jeux d’entraînement, de validation et de test soumis à des pratiques adaptées de gouvernance et de gestion.

Ces pratiques concernent notamment :

  • les choix de conception ;
  • l’origine des données ;
  • la collecte ;
  • les opérations de préparation ;
  • l’annotation ;
  • le nettoyage ;
  • l’enrichissement ;
  • les hypothèses retenues ;
  • la représentativité ;
  • les lacunes et biais ;
  • les mesures correctrices.

Les jeux doivent être pertinents, suffisamment représentatifs et, dans toute la mesure possible, exempts d’erreurs au regard de la destination du système.

Cette obligation n’exige pas une perfection absolue. Elle impose une démarche documentée et proportionnée au risque.

7.2. Modèles d’IA à usage général

L’article 53 de l’AI Act impose aux fournisseurs de modèles d’IA à usage général :

  • de tenir une documentation technique relative au processus d’entraînement et d’essai ;
  • de mettre en place une politique de respect du droit d’auteur ;
  • de publier un résumé suffisamment détaillé du contenu utilisé pour l’entraînement.

Ce résumé ne correspond pas nécessairement à la publication de chaque donnée ou annotation. Il doit toutefois permettre une compréhension générale des principales sources et collections mobilisées.

7.3. Traçabilité

La documentation doit permettre de retracer :

  • l’origine du corpus ;
  • les versions ;
  • les transformations ;
  • les critères d’inclusion et d’exclusion ;
  • les annotateurs ou prestataires ;
  • les règles de qualité ;
  • les résultats des contrôles.

8. Droit d’auteur et fouille de textes et de données

8.1. Reproductions nécessaires à l’entraînement

L’entraînement peut nécessiter la reproduction ou l’extraction de contenus protégés.

La directive (UE) 2019/790 prévoit deux régimes principaux de fouille de textes et de données :

  • une exception destinée aux organismes de recherche et institutions du patrimoine culturel, sous conditions ;
  • une exception plus générale, lorsque l’accès aux œuvres est licite et que les titulaires n’ont pas réservé leurs droits de manière appropriée.

L’AI Act impose aux fournisseurs de modèles d’IA à usage général d’identifier et de respecter les réservations de droits exprimées conformément à l’article 4, paragraphe 3, de cette directive.

8.2. Annotation et œuvre dérivée

L’annotation ne constitue pas toujours une simple information factuelle.

Une annotation détaillée peut elle-même présenter une originalité lorsqu’elle traduit des choix libres et créatifs.

À l’inverse, une étiquette fonctionnelle telle que « chat », « contrat » ou « décision de rejet » sera rarement protégeable isolément.

8.3. Bases de données

La constitution d’un jeu annoté peut également mobiliser :

  • le droit d’auteur sur la structure de la base ;
  • le droit sui generis du producteur de base de données ;
  • des licences contractuelles ;
  • des conditions générales d’utilisation.

L’accès techniquement possible à une base ne signifie pas que son extraction massive est autorisée.


9. Sécurité et empoisonnement des données

9.1. Altération du corpus

Un attaquant peut chercher à introduire dans le corpus :

  • de fausses informations ;
  • des annotations manipulées ;
  • des contenus déclencheurs ;
  • des exemples destinés à créer une porte dérobée ;
  • des données biaisant volontairement le modèle.

Cette pratique est souvent qualifiée d’empoisonnement des données.

9.2. Intégrité des annotations

La CNIL recommande de vérifier régulièrement l’intégrité des données et de leurs annotations pendant tout leur cycle de vie.

Les mesures peuvent comprendre :

  • contrôle des sources ;
  • signatures ou empreintes ;
  • gestion des versions ;
  • limitation des droits de modification ;
  • journalisation ;
  • détection d’anomalies ;
  • audits des prestataires.

10. Travailleurs de l’annotation

10.1. Travail humain invisible

Les systèmes présentés comme automatisés reposent souvent sur un grand nombre de travailleurs chargés de :

  • classer ;
  • corriger ;
  • filtrer ;
  • transcrire ;
  • évaluer ;
  • modérer les contenus.

Dabo Tibi Ius souligne l’émergence d’une économie mondiale de l’annotation, dans laquelle des millions de personnes contribuent à la qualité des modèles tout en restant peu visibles.

10.2. Conditions de travail

Les principales difficultés documentées comprennent :

  • faibles rémunérations ;
  • contrats précaires ;
  • travail à la tâche ;
  • surveillance permanente ;
  • objectifs de productivité élevés ;
  • absence de protection sociale ;
  • exposition à des contenus traumatisants ;
  • recours limité contre les décisions automatisées des plateformes.

L’Organisation internationale du travail relève que le développement des systèmes d’IA repose sur un travail humain souvent invisible et associé à des déficits de travail décent.

10.3. Modération de contenus sensibles

Les annotateurs peuvent être exposés à :

  • violences ;
  • abus sexuels ;
  • automutilation ;
  • discours haineux ;
  • torture ;
  • exploitation d’enfants.

Ces tâches peuvent entraîner des risques psychosociaux importants. L’OIT relève notamment les charges élevées, la détresse psychologique et la surveillance qui touchent les travailleurs de l’annotation et de la modération.

10.4. Responsabilité du donneur d’ordre

La fragmentation de la chaîne contractuelle ne fait pas disparaître les responsabilités.

Le fournisseur du système doit notamment s’assurer que :

  • les annotateurs sont formés ;
  • les données sont protégées ;
  • les consignes sont compréhensibles ;
  • les contrôles de qualité ne reposent pas sur des pratiques abusives ;
  • les contenus sensibles font l’objet d’un accompagnement ;
  • la sous-traitance est documentée.

11. Biais et diversité culturelle

Une annotation reflète nécessairement un cadre de référence.

La qualification d’un contenu comme :

  • offensant ;
  • dangereux ;
  • politiquement extrême ;
  • sexuellement explicite ;
  • professionnel ;
  • juridiquement pertinent

peut varier selon :

  • la langue ;
  • la culture ;
  • l’âge ;
  • la profession ;
  • le contexte historique ;
  • les normes sociales.

Une équipe homogène peut introduire ses propres angles morts.

La conception du projet doit donc examiner :

  • la diversité des annotateurs ;
  • la localisation des tâches ;
  • la traduction des consignes ;
  • la représentation des publics ;
  • le traitement des désaccords.

12. Responsabilité

Une erreur d’annotation peut provoquer :

  • une mauvaise classification ;
  • une décision discriminatoire ;
  • un défaut de détection ;
  • une hallucination ;
  • une recommandation médicale erronée ;
  • une qualification juridique inexacte.

La responsabilité peut concerner, selon les circonstances :

  • le fournisseur du système ;
  • l’entreprise ayant constitué le corpus ;
  • le prestataire d’annotation ;
  • l’intégrateur ;
  • le déployeur ;
  • le professionnel ayant utilisé le résultat.

Le fournisseur ne peut normalement pas se décharger entièrement sur l’annotateur individuel lorsque l’erreur résulte :

  • d’une consigne ambiguë ;
  • d’une formation insuffisante ;
  • d’objectifs de production excessifs ;
  • d’un contrôle qualité défaillant ;
  • d’un corpus mal conçu.

13. Bonnes pratiques

Avant l’annotation

  • Définir la finalité du système.
  • Identifier les catégories de données.
  • Vérifier leur origine et leurs licences.
  • Évaluer la présence de données personnelles ou sensibles.
  • Déterminer les rôles des acteurs.
  • Préparer un guide d’annotation.

Pendant l’annotation

  • Former les annotateurs.
  • Prévoir une procédure pour les cas ambigus.
  • Organiser la double annotation sur un échantillon.
  • Contrôler les écarts entre annotateurs.
  • Sécuriser les accès.
  • Limiter l’exposition aux contenus sensibles.
  • Documenter les corrections.

Après l’annotation

  • Réaliser des tests de qualité.
  • Rechercher les biais par sous-groupes.
  • Séparer les jeux d’entraînement, de validation et de test.
  • Conserver la provenance et la version des données.
  • Supprimer les données devenues inutiles.
  • Réévaluer le corpus lorsque la destination du système évolue.

Acteurs

Fournisseur du système ou du modèle

Il conçoit le processus, sélectionne les données et demeure responsable de leur gouvernance.

Prestataire d’annotation

Il réalise matériellement les tâches selon les instructions du donneur d’ordre.

Annotateurs

Ils apportent une appréciation humaine essentielle à la qualité du modèle.

Experts métiers

Médecins, juristes, ingénieurs ou linguistes interviennent lorsque la tâche exige une expertise spécialisée.

Responsables de la protection des données

Ils analysent la base juridique, les transferts, les contrats et les droits des personnes.

Autorités de contrôle

La CNIL contrôle les traitements de données personnelles. Les autorités de surveillance de l’AI Act peuvent examiner la conformité des systèmes relevant de leur compétence.


Débats actuels

L’annotation peut-elle être entièrement automatisée ?

Elle peut l’être pour certaines tâches simples, mais les contrôles humains restent nécessaires lorsque le contexte, la sécurité ou l’équité sont déterminants.

Une annotation est-elle objective ?

Non. Même une grille précise reflète des choix conceptuels et normatifs.

Les annotateurs doivent-ils être informés de la finalité finale ?

Une information suffisante améliore la qualité et permet de comprendre les risques. Certaines restrictions peuvent néanmoins être nécessaires pour éviter des biais ou protéger des secrets.

Peut-on entraîner un modèle sur des données annotées sans connaître leur provenance ?

Cette pratique présente des risques juridiques et méthodologiques majeurs. La provenance doit être documentée.

Les données synthétiques remplacent-elles les données réelles ?

Elles peuvent les compléter, mais ne garantissent ni la diversité, ni l’anonymat, ni la validité.

Faut-il reconnaître un statut particulier aux travailleurs de la donnée ?

Le débat porte notamment sur la rémunération, la protection sociale, la santé psychologique, la transparence des chaînes de sous-traitance et la reconnaissance de leur contribution.


Ressources essentielles

Base Dabo Tibi Ius

Annotation des données et entraînement de l’IA

Fiche principale, publiée le 14 juin 2026.

Catégorie Annotation et entraînement de l’IA

Articles consacrés aux métiers de l’annotation et aux travailleurs de la donnée.

https://dabotibius.ai/category/metiers-du-droit/annotation-entrainement-ia/

Entraînement des IA : « Nous assistons aujourd’hui à la naissance d’une nouvelle classe ouvrière »

Jeu de données juridique et intelligence artificielle

Données personnelles et intelligence artificielle

Gouvernance des données

Audit des systèmes d’IA

CNIL

Annoter les données

https://www.cnil.fr/fr/ia-annoter-les-donnees

Collecter et qualifier les données d’entraînement

https://www.cnil.fr/fr/intelligence-artificielle/guide/collecter-et-qualifier-les-donnees-dentrainement

Recommandations sur le développement des systèmes d’IA

https://www.cnil.fr/fr/developpement-des-systemes-dia-les-recommandations-de-la-cnil-pour-respecter-le-rgpd

Sécurité du développement

https://www.cnil.fr/fr/ia-garantir-la-securite-du-developpement

Statut du modèle au regard du RGPD

https://www.cnil.fr/fr/ia-analyser-le-statut-dun-modele-dia-au-regard-du-rgpd

Union européenne

Règlement (UE) 2024/1689 sur l’intelligence artificielle

https://eur-lex.europa.eu/eli/reg/2024/1689/oj/fra

Directive (UE) 2019/790 sur le droit d’auteur dans le marché unique numérique

https://eur-lex.europa.eu/eli/dir/2019/790/oj/fra

Règlement général sur la protection des données

https://eur-lex.europa.eu/eli/reg/2016/679/oj/fra

Conditions de travail

OIT, The Artificial Intelligence Illusion: How Invisible Workers Fuel Automated Systems

https://www.ilo.org/resource/article/artificial-intelligence-illusion-how-invisible-workers-fuel-automated

FAQ

Qu’est-ce que l’annotation des données ?

C’est l’opération qui consiste à enrichir des données brutes par des catégories, descriptions, corrections ou évaluations afin de les rendre utilisables par un système d’IA.

L’annotation est-elle toujours humaine ?

Non. Elle peut être humaine, automatique ou hybride. L’intervention humaine reste essentielle pour les tâches complexes et l’évaluation qualitative.

Une annotation peut-elle être une donnée personnelle ?

Oui, notamment lorsqu’elle attribue une caractéristique à une personne identifiable.

Une annotation peut-elle créer une donnée sensible ?

Oui. Une image ordinaire peut devenir une donnée sensible si elle reçoit une annotation relative à la santé, à la religion ou à l’orientation sexuelle.

L’AI Act réglemente-t-il les données d’entraînement ?

Oui, particulièrement pour les systèmes à haut risque, dont les jeux d’entraînement, de validation et de test sont soumis à des exigences de gouvernance et de qualité.

Peut-on utiliser librement des œuvres disponibles en ligne ?

Non. Il faut examiner l’accès licite, les exceptions de fouille de textes et de données, les réservations de droits et les licences.

Pourquoi séparer les jeux d’entraînement et de test ?

Pour éviter d’évaluer le modèle sur des données qu’il a déjà apprises, ce qui donnerait une mesure artificiellement favorable de ses performances.

Qui sont les travailleurs de la donnée ?

Ce sont les personnes qui annotent, corrigent, filtrent et évaluent les données et les sorties des systèmes d’IA.

Quels risques professionnels rencontrent-ils ?

Précarité, faible rémunération, surveillance, pression de productivité et exposition à des contenus traumatisants.

Comment garantir la qualité des annotations ?

Par des consignes précises, une formation, une double annotation, des contrôles par échantillonnage et une documentation des désaccords et corrections.


Pour aller plus loin

  • Données d’entraînement
  • Gouvernance des données
  • Jeu de données juridique
  • Apprentissage supervisé
  • Réglage fin
  • Apprentissage par préférences humaines
  • Données synthétiques
  • Fouille de textes et de données
  • Web scraping
  • Droit d’auteur et intelligence artificielle
  • RGPD et modèles d’IA
  • Biais algorithmiques
  • Audit des systèmes d’IA
  • Empoisonnement des données
  • Travailleurs des plateformes
  • Modération de contenus
  • Modèles d’IA à usage général
  • Systèmes d’IA à haut risque

Méthodologie : Cette fiche a été générée avec l’assistance de l’intelligence artificielle à partir de la base documentaire et de sources juridiques complémentaires lorsque cela était nécessaire. Elle constitue une synthèse documentaire et ne remplace pas un avis juridique.


Résumé pédagogique

Définition

L’annotation des données consiste à enrichir des textes, images, sons ou autres contenus par des étiquettes, catégories, corrections ou évaluations afin de permettre leur utilisation dans l’entraînement ou l’évaluation d’un système d’intelligence artificielle. Elle peut être réalisée par des humains, par un autre système automatisé ou par une combinaison des deux.

Exemple

Pour entraîner une IA juridique, des annotateurs identifient dans chaque décision les faits, les arguments des parties, les textes cités et la solution retenue. Si l’annotation confond les prétentions d’une partie avec le raisonnement du juge, le système risque ensuite de présenter une argumentation rejetée comme une règle de droit.

Problématique juridique

L’annotation soulève des difficultés relatives à la qualité, aux biais, aux données personnelles, au droit d’auteur et aux conditions de travail. Elle peut créer des informations sensibles qui n’existaient pas explicitement dans la donnée brute. Elle repose également sur une main-d’œuvre mondiale souvent externalisée, peu visible et exposée à des contenus difficiles.

Cadre légal

Le RGPD s’applique lorsque les données ou annotations concernent des personnes identifiables. L’AI Act impose des exigences de gouvernance et de qualité des jeux d’entraînement pour les systèmes à haut risque et des obligations documentaires pour les modèles d’IA à usage général. Le droit d’auteur encadre les reproductions nécessaires à l’entraînement, notamment au moyen des règles européennes de fouille de textes et de données.