— Stratégie & GouvernanceN° 209 des 235 analyses du catalogue
Le média des Directeurs des Systèmes d'Information
En continu
Publicité
Hiscox CyberClearAssurance cyber professionnelle — rançongiciel, fraude, pertes d'exploitation
Obtenir un devis

Accueil / Bloc 5 / Stratégie & Gouvernance / N° 209 — Benchmarks : les LLM du marché face aux tâches réelles des E

Stratégie & Gouvernance · N° 209

Benchmarks : les LLM du marché face aux tâches réelles des ETI — ce que dit l'évaluation interne de 5 groupes

Sur des tâches métier réelles, l'écart entre modèles se réduit à quelques points — mais les différences de coût restent du simple au triple. Les groupes qui testent en interne sur leurs propres jeux de données achètent mieux que ceux qui suivent les classements publics, inadaptés à leurs documents.

Poste de travail et écran de visioconférence.
Poste de travail et écran de visioconférence.Photo d'illustration, sans lien avec l'organisation décrite — Norbert Levajsics levajsics · CC0 · Wikimedia Commons

Nous avons mesuré le mauvais indicateur pendant trop longtemps. Le lundi 14 septembre 2026, j'ai changé de question.

J'ai gardé mes notes telles quelles, y compris les passages gênants.

Le point de départ

« Sur des tâches métier réelles, l'écart entre modèles se réduit à quelques points — mais les différences de coût restent du simple au triple. »

Ravi Chandrasekar, Directeur Plateformes IA du groupe Solvantis Services (Inde/France)

Le dossier a été traité dans un contexte très opérationnel, avec Inde/France pour cadre réglementaire et commercial implicite. Dans ce type de situation, l'enjeu était de rendre le service utile sans perdre la maîtrise des sources. Nous avons commencé par comparer ce que chaque direction disait du même sujet. L'écart était le vrai sujet.

Ce qui s'est passé, dans l'ordre

  1. J+00

    1. Périmètre documentaire fermé — le point où j'ai compris que le calendrier officiel ne tenait pas.

  2. J+09

    2. Sources datées et versionnées — c'est l'étape qui a pris le plus de temps, et personne ne l'avait vue venir.

  3. J+18

    3. Garde-fous et refus hors domaine. Sur le moment, j'ai trouvé ça superflu ; ça nous a évité deux retours arrière.

  4. J+27

    4. Mesure du taux d'erreur réel : la seule étape qui ait été tenue comme prévu.

  5. J+36

    5. Extension ou arrêt du service. J'en ai gardé une trace écrite prise sur le vif, parce que je savais qu'on me demanderait.

« Les groupes qui testent en interne sur leurs propres jeux de données achètent mieux que ceux qui suivent les classements publics, inadaptés à leurs documents. » — cette phrase a été écrite au moment de la revue intermédiaire, avant consolidation des chiffres.

Le service réellement mis en bout en boutLe modèle n'est jamais seul : la qualité des réponses dépend des sources, du garde-fou et de la relecture humaine tracée.Corpus documentairesources datées, propriétaire nomméIndex de recherchesegments et métadonnéesModèlehébergé sur le socle interneGarde-fousrefus hors domaineJournal des réponsestraçabilité et relectureMétiervalidation avant mise en producti…contextepreuvearbitrage
Le modèle n'est jamais seul : la qualité des réponses dépend des sources, du garde-fou et de la relecture humaine tracée.

Ce qui a coincé

Les utilisateurs ont détourné l'outil de son périmètre en deux semaines ; personne n'avait écrit ce qui devait lui être refusé. Nous l'avons corrigé depuis ; cela n'a pas suffi à rattraper le temps perdu.

Nous avons mesuré le succès sur le mauvais indicateur pendant deux mois : le volume d'usage, pas les erreurs rattrapées par les humains.

Nous avons d'abord mesuré l'adhésion, pas l'erreur. Le taux d'erreur réel est venu beaucoup plus tard.

Ce que je fais désormais

  • Un cas d'usage qui ne tient pas sa mesure d'erreur est arrêté, et l'arrêt est annoncé.
  • Depuis, chaque domaine documentaire a un responsable nommé, avec une date de revue.
  • Aujourd'hui, nous publions les erreurs corrigées par les relecteurs autant que les cas réussis.

La suite

Le sujet n'est pas clos. Il est devenu une routine de pilotage, ce qui est la seule façon de le faire durer.

Repères

Avant d'aller plus loin, quelques définitions — celles que nous utilisons en comité.

LLM
Grand modèle de langage, entraîné sur de très gros volumes de texte, utilisé en génération ou en assistance.
Note de prototype : les intervenants, les organisations et les situations décrites sont des profils fictifs d'un prototype éditorial. Les références officielles, elles, pointent vers des pages réelles et vérifiées.

Cadre de référence

Ces pages officielles externes sont données comme repères : elles ouvrent un nouvel onglet et n'impliquent aucune validation de la part des organismes cités.

Partager cette analyse

Baromètre DSI 2026
+8 % de packages en ETI ce trimestre — grille complète et ventilée par région.
Voir la grille