Stratégie & Gouvernance · N° 66
Qualité d'annotation : l'étape que tous les POC français sautent avant de mesurer un modèle
Trois annotateurs, aucune règle de cohérence, un jeu de test contaminé par l'entraînement. Le rattrapage a coûté autant que le POC lui-même. Désormais, Althévia exige un protocole d'annotation et un score d'inter-annotateur avant tout budget de modèle.

Le premier démonstrateur a bluffé tout le monde. Le mercredi 27 août 2025, j'ai demandé ce qui se passait quand la source n'existait pas.
J'ai relu le dossier avant d'écrire ; ma mémoire avait arrangé certaines dates.
Le point de départ
« Trois annotateurs, aucune règle de cohérence, un jeu de test contaminé par l'entraînement. »
Marta Iglesias, Directrice Data & IA de la société Althévia Sciences (Espagne)
Rien de spectaculaire côté organisation : Espagne, des métiers sous tension, et une direction des systèmes d'information qui doit tenir la production tout en préparant l'année suivante. Dans ce type de situation, l'enjeu était de rendre le service utile sans perdre la maîtrise des sources. J'ai choisi de commencer par ce qui était vérifiable, plutôt que par ce qui faisait plaisir à lire.
Ce qui s'est passé, dans l'ordre
- J+00
1. Périmètre documentaire fermé. Sur le moment, j'ai trouvé ça superflu ; ça nous a évité deux retours arrière.
- J+09
2. Sources datées et versionnées : la seule étape qui ait été tenue comme prévu.
- J+18
3. Garde-fous et refus hors domaine. J'en ai gardé une trace écrite prise sur le vif, parce que je savais qu'on me demanderait.
- J+27
4. Mesure du taux d'erreur réel — le point où j'ai compris que le calendrier officiel ne tenait pas.
- J+36
5. Extension ou arrêt du service — c'est l'étape qui a pris le plus de temps, et personne ne l'avait vue venir.
« Le rattrapage a coûté autant que le POC lui-même. » — cette phrase a été écrite au moment de la revue intermédiaire, avant consolidation des chiffres.
Ce qui a coincé
Le modèle n'était pas le problème : c'est la gouvernance des sources qui déterminait tout. Sans propriétaire nommé par domaine, les réponses errées remontaient. Rien de dramatique en soi — mais c'est exactement ce qui fait déborder un planning.
Les usages non déclarés ont été découverts par la comptabilité des licences, pas par la sécurité. Nous l'avons su trop tard, comme presque toujours.
Le référentiel documentaire était à jour dans la forme et faux dans le fond : trois procédures n'avaient jamais été appliquées. C'est le genre de détail qui ne coûte rien tant qu'on n'en a pas besoin.
Ce que je fais désormais
- Depuis, chaque domaine documentaire a un responsable nommé, avec une date de revue.
- Aujourd'hui, nous publions les erreurs corrigées par les relecteurs autant que les cas réussis.
- Un cas d'usage qui ne tient pas sa mesure d'erreur est arrêté, et l'arrêt est annoncé.
La suite
Ce qui a survécu au projet, ce n'est pas le plan : c'est la liste des points de contrôle, reprise chaque trimestre.
Cadre de référence
- Législation sur l'IA — Commission européenne. Approche par risques, pratiques interdites, calendrier.
- Règlement (UE) 2024/1689 — règles harmonisées sur l'intelligence artificielle (AI Act) — EUR-Lex. ELI officiel vérifié en navigateur, version française.
- Intelligence artificielle (IA) — CNIL. Dossier protection des données et systèmes d'IA.
- L'analyse d'impact relative à la protection des données (AIPD) — CNIL. Méthode, listes de traitements, outil PIA.
- Licence Ouverte 2.0 — data.gouv.fr (Etalab). Conditions de réutilisation des données publiques.
Ces pages officielles externes sont données comme repères : elles ouvrent un nouvel onglet et n'impliquent aucune validation de la part des organismes cités.