— Stratégie & GouvernanceN° 66 des 235 analyses du catalogue
Le média des Directeurs des Systèmes d'Information
En continu
Publicité
Hiscox CyberClearAssurance cyber professionnelle — rançongiciel, fraude, pertes d'exploitation
Obtenir un devis

Accueil / Bloc 2 / Stratégie & Gouvernance / N° 66 — Qualité d'annotation : l'étape que tous les POC français sau

Stratégie & Gouvernance · N° 66

Qualité d'annotation : l'étape que tous les POC français sautent avant de mesurer un modèle

Trois annotateurs, aucune règle de cohérence, un jeu de test contaminé par l'entraînement. Le rattrapage a coûté autant que le POC lui-même. Désormais, Althévia exige un protocole d'annotation et un score d'inter-annotateur avant tout budget de modèle.

Espace de travail ouvert, postes alignés.
Espace de travail ouvert, postes alignés.Photo d'illustration, sans lien avec l'organisation décrite — Roman Bozhko romanbozhko · CC0 · Wikimedia Commons

Le premier démonstrateur a bluffé tout le monde. Le mercredi 27 août 2025, j'ai demandé ce qui se passait quand la source n'existait pas.

J'ai relu le dossier avant d'écrire ; ma mémoire avait arrangé certaines dates.

Le point de départ

« Trois annotateurs, aucune règle de cohérence, un jeu de test contaminé par l'entraînement. »

Marta Iglesias, Directrice Data & IA de la société Althévia Sciences (Espagne)

Rien de spectaculaire côté organisation : Espagne, des métiers sous tension, et une direction des systèmes d'information qui doit tenir la production tout en préparant l'année suivante. Dans ce type de situation, l'enjeu était de rendre le service utile sans perdre la maîtrise des sources. J'ai choisi de commencer par ce qui était vérifiable, plutôt que par ce qui faisait plaisir à lire.

Ce qui s'est passé, dans l'ordre

  1. J+00

    1. Périmètre documentaire fermé. Sur le moment, j'ai trouvé ça superflu ; ça nous a évité deux retours arrière.

  2. J+09

    2. Sources datées et versionnées : la seule étape qui ait été tenue comme prévu.

  3. J+18

    3. Garde-fous et refus hors domaine. J'en ai gardé une trace écrite prise sur le vif, parce que je savais qu'on me demanderait.

  4. J+27

    4. Mesure du taux d'erreur réel — le point où j'ai compris que le calendrier officiel ne tenait pas.

  5. J+36

    5. Extension ou arrêt du service — c'est l'étape qui a pris le plus de temps, et personne ne l'avait vue venir.

« Le rattrapage a coûté autant que le POC lui-même. » — cette phrase a été écrite au moment de la revue intermédiaire, avant consolidation des chiffres.

Le service réellement mis en bout en boutLe modèle n'est jamais seul : la qualité des réponses dépend des sources, du garde-fou et de la relecture humaine tracée.Corpus documentairesources datées, propriétaire nomméIndex de recherchesegments et métadonnéesModèlehébergé sur le socle interneGarde-fousrefus hors domaineJournal des réponsestraçabilité et relectureMétiervalidation avant mise en producti…contextepreuvearbitrage
Le modèle n'est jamais seul : la qualité des réponses dépend des sources, du garde-fou et de la relecture humaine tracée.

Ce qui a coincé

Le modèle n'était pas le problème : c'est la gouvernance des sources qui déterminait tout. Sans propriétaire nommé par domaine, les réponses errées remontaient. Rien de dramatique en soi — mais c'est exactement ce qui fait déborder un planning.

Les usages non déclarés ont été découverts par la comptabilité des licences, pas par la sécurité. Nous l'avons su trop tard, comme presque toujours.

Le référentiel documentaire était à jour dans la forme et faux dans le fond : trois procédures n'avaient jamais été appliquées. C'est le genre de détail qui ne coûte rien tant qu'on n'en a pas besoin.

Ce que je fais désormais

  • Depuis, chaque domaine documentaire a un responsable nommé, avec une date de revue.
  • Aujourd'hui, nous publions les erreurs corrigées par les relecteurs autant que les cas réussis.
  • Un cas d'usage qui ne tient pas sa mesure d'erreur est arrêté, et l'arrêt est annoncé.

La suite

Ce qui a survécu au projet, ce n'est pas le plan : c'est la liste des points de contrôle, reprise chaque trimestre.

Note de prototype : les intervenants, les organisations et les situations décrites sont des profils fictifs d'un prototype éditorial. Les références officielles, elles, pointent vers des pages réelles et vérifiées.

Cadre de référence

Ces pages officielles externes sont données comme repères : elles ouvrent un nouvel onglet et n'impliquent aucune validation de la part des organismes cités.

Partager cette analyse

Baromètre DSI 2026
+8 % de packages en ETI ce trimestre — grille complète et ventilée par région.
Voir la grille