Stratégie & Gouvernance · N° 73
Mettre à jour son LLM sans casser 200 prompts métier : le chantier invisible de l'IA en production
Chaque montée de version modèle dégrade silencieusement des réponses jugées bonnes la veille. Solvantis maintient une batterie de 300 prompts de non-régression et une rétrogradation possible en un clic — condition d'entrée en production depuis le troisième modèle déployé.

Ce n'est pas le modèle qui a posé problème, c'est tout ce qui l'entoure. Je l'ai vérifié à partir du vendredi 12 septembre 2025.
Ce qui suit n'est pas une méthode générale : c'est mon déroulé, avec ses hasards.
Le point de départ
« Chaque montée de version modèle dégrade silencieusement des réponses jugées bonnes la veille. »
Ravi Chandrasekar, Directeur Plateformes IA du groupe Solvantis Services (Inde/France)
C'est un périmètre Inde/France, avec les contraintes qu'on leur connaît : des équipes déjà complètes, des budgets discutés deux fois, et des prestataires qu'on ne change pas sans raison. Dans ce type de situation, l'enjeu était de rendre le service utile sans perdre la maîtrise des sources. Plutôt que d'attendre une note complète, j'ai demandé un état des lieux en quarante-huit heures.
Ce qui s'est passé, dans l'ordre
- J+00
1. Périmètre documentaire fermé. J'en ai gardé une trace écrite prise sur le vif, parce que je savais qu'on me demanderait.
- J+09
2. Sources datées et versionnées — le point où j'ai compris que le calendrier officiel ne tenait pas.
- J+18
3. Garde-fous et refus hors domaine — c'est l'étape qui a pris le plus de temps, et personne ne l'avait vue venir.
- J+27
4. Mesure du taux d'erreur réel. Sur le moment, j'ai trouvé ça superflu ; ça nous a évité deux retours arrière.
- J+36
5. Extension ou arrêt du service : la seule étape qui ait été tenue comme prévu.
« Solvantis maintient une batterie de 300 prompts de non-régression et une rétrogradation possible en un clic — condition d'entrée en production depuis le troisième modèle déployé. » — cette phrase a été écrite au moment de la revue intermédiaire, avant consolidation des chiffres.
Ce qui a coincé
Nous avons mesuré le succès sur le mauvais indicateur pendant deux mois : le volume d'usage, pas les erreurs rattrapées par les humains. Rien de dramatique en soi — mais c'est exactement ce qui fait déborder un planning.
Nous avons d'abord mesuré l'adhésion, pas l'erreur. Le taux d'erreur réel est venu beaucoup plus tard. Nous l'avons su trop tard, comme presque toujours.
Les utilisateurs ont détourné l'outil de son périmètre en deux semaines ; personne n'avait écrit ce qui devait lui être refusé. C'est le genre de détail qui ne coûte rien tant qu'on n'en a pas besoin.
Ce que je fais désormais
- Aujourd'hui, nous publions les erreurs corrigées par les relecteurs autant que les cas réussis.
- Un cas d'usage qui ne tient pas sa mesure d'erreur est arrêté, et l'arrêt est annoncé.
- Depuis, chaque domaine documentaire a un responsable nommé, avec une date de revue.
La suite
Le sujet n'est pas clos. Il est devenu une routine de pilotage, ce qui est la seule façon de le faire durer.
Repères
Le vocabulaire de ce type de chantier n'est pas décoratif : voici ce que recouvrent les termes employés ici.
- LLM
- Grand modèle de langage, entraîné sur de très gros volumes de texte, utilisé en génération ou en assistance.
Cadre de référence
- Législation sur l'IA — Commission européenne. Approche par risques, pratiques interdites, calendrier.
- Règlement (UE) 2024/1689 — règles harmonisées sur l'intelligence artificielle (AI Act) — EUR-Lex. ELI officiel vérifié en navigateur, version française.
- Intelligence artificielle (IA) — CNIL. Dossier protection des données et systèmes d'IA.
- L'analyse d'impact relative à la protection des données (AIPD) — CNIL. Méthode, listes de traitements, outil PIA.
- Licence Ouverte 2.0 — data.gouv.fr (Etalab). Conditions de réutilisation des données publiques.
Ces pages officielles externes sont données comme repères : elles ouvrent un nouvel onglet et n'impliquent aucune validation de la part des organismes cités.