Entraîner un agent sur votre métier : ce que ça veut dire vraiment

Beaucoup de dirigeants imaginent qu'un agent apprend comme un employé : on lui explique, il retient, il s'améliore avec l'expérience.

Ce n'est pas ainsi que ça fonctionne. Un modèle de langage ne « retient » pas vos échanges. Ce qui rend un agent spécifique à votre métier, ce sont trois mécanismes distincts qu'on combine selon le besoin.

C'est le mécanisme principal, et celui qui suffit dans la majorité des cas.

Vos documents — procédures, catalogue, conditions, contrats, documentation technique — sont découpés et transformés en embeddings : une représentation numérique du sens de chaque passage. Quand une question arrive, le système cherche les passages les plus proches du sens de la question, et les fournit au modèle pour qu'il formule la réponse.

C'est ce qu'on appelle le RAG — génération augmentée par la recherche.

Trois conséquences pratiques.

La réponse est sourçable. L'agent peut citer le passage exact et le document d'origine. Une réponse non sourcée est considérée comme un échec, pas comme une approximation acceptable.

La mise à jour est immédiate. Quand une règle change, on met à jour le document et l'agent suit. Pas de réentraînement, pas de délai.

Le découpage compte plus qu'on ne croit. Un découpage arbitraire — toutes les 500 caractères — coupe une clause de contrat en deux ou sépare une référence de sa description, et produit des réponses fausses avec assurance. Le découpage doit suivre la structure réelle du document.

Tout ne doit pas passer par le modèle. Vos seuils, vos tolérances, vos conditions de validation sont écrits sous forme de règles, vérifiables et testables.

C'est délibéré. Une addition se vérifie, elle ne s'infère pas. Confier un contrôle arithmétique à un modèle de langage est une faute de conception, pas une audace technique.

La ligne de partage est simple : le modèle traite ce qui demande de l'interprétation, la règle traite ce qui se vérifie.

C'est le seul mécanisme qui modifie réellement le modèle. On le ré-entraîne partiellement sur des exemples spécifiques pour qu'il adopte un format de sortie, un vocabulaire ou un comportement particulier.

Il est rarement nécessaire. Il coûte plus cher, demande un jeu d'exemples de qualité, et doit être refait quand le besoin évolue.

Il devient pertinent dans deux cas : un vocabulaire métier très spécifique que le modèle interprète mal, ou un format de sortie strict qu'on veut garantir.

Un prestataire qui propose du fine-tuning d'emblée, avant d'avoir essayé le RAG, vend une prestation plutôt qu'il ne résout un problème.

De la matière écrite. C'est la condition. Si vos procédures ne sont écrites nulle part, il n'y a rien à indexer, et aucune technique ne compense cela.

Une personne qui arbitre. Pendant le calibrage, il faut trancher des cas particuliers : que faire si telle information manque, comment traiter telle exception. Cela demande quelqu'un qui connaît le métier.

De la patience sur le calibrage. Les premiers résultats ne sont jamais les bons. C'est normal, et c'est prévu.

Le taux de réponse correcte, mesuré sur des cas réels que vous avez choisis — pas sur des exemples fournis par le prestataire.

Le taux de transmission. La proportion de cas où l'agent passe la main. Trop élevé, il ne sert pas. Trop bas, il répond à des choses qu'il ne maîtrise pas.

La traçabilité. Chaque réponse doit pouvoir être remontée à sa source. Sans cela, vous ne pourrez ni corriger ni défendre le système.

« Entraîné sur vos données » veut dire, dans neuf cas sur dix : indexé sur vos documents avec citation de la source, encadré par vos règles métier explicites. Le fine-tuning est l'exception, pas la règle — et c'est une bonne nouvelle, parce que c'est aussi le moins cher et le plus facile à maintenir.