Fine-tuning : quand c'est utile et quand ça ne l'est pas

Il ré-entraîne partiellement un modèle existant sur un jeu d'exemples spécifiques, afin de modifier son comportement : un format de sortie, un vocabulaire, un style, une façon de raisonner sur un type de tâche.

Ce qu'il ne fait pas — et c'est le malentendu central : il n'ajoute pas de connaissance de façon fiable. Un modèle affiné sur vos procédures ne les « connaîtra » pas comme une base de données. Il aura tendance à produire du texte qui y ressemble, ce qui n'est pas la même chose — et c'est même plus dangereux, parce que le résultat est plausible sans être vérifiable.

Pour donner de la connaissance à un agent, la recherche dans vos documents fait mieux sur trois plans.

La mise à jour. Une règle change ? On modifie le document, l'agent suit immédiatement. Avec du fine-tuning, il faut refaire le jeu d'exemples et ré-entraîner.

La traçabilité. Le RAG cite la source. Un modèle affiné produit une réponse sans pouvoir dire d'où elle vient.

Le coût. Indexer des documents est peu coûteux. Ré-entraîner demande du calcul, du temps, et un jeu d'exemples de qualité.

Pour la connaissance, le RAG gagne presque toujours.

1 · Un format de sortie strict et récurrent. Vous voulez que chaque réponse suive exactement la même structure, avec les mêmes champs, dans le même ordre. Le fine-tuning ancre ce format bien plus solidement qu'une consigne.

2 · Un vocabulaire métier que le modèle interprète mal. Certains termes techniques ou secteurs très spécialisés utilisent des mots dans un sens qui n'est pas le sens courant. Le fine-tuning aligne le modèle sur votre acception.

3 · Une tâche répétitive et bien définie, à fort volume. Classer, extraire, reformuler selon un schéma constant. Un modèle plus petit, affiné sur cette tâche précise, peut faire aussi bien qu'un grand modèle généraliste pour beaucoup moins cher — ce qui compte en traitement local.

Des exemples de qualité, en quantité. Plusieurs centaines au minimum, représentatifs, cohérents entre eux. Des exemples contradictoires produisent un modèle instable.

Un travail de préparation important. Constituer, nettoyer et valider le jeu d'exemples représente l'essentiel de l'effort — pas l'entraînement lui-même.

Une maintenance. Quand le besoin évolue, il faut recommencer.

Un moyen d'évaluer. Sans jeu de test séparé, on ne sait pas si le modèle affiné fait mieux ou moins bien.

Un prestataire qui propose du fine-tuning d'emblée, avant d'avoir essayé le RAG, vend une prestation plutôt qu'il ne résout un problème.

Le fine-tuning se facture, il impressionne en réunion, et il crée une dépendance — puisque seul celui qui a le jeu d'exemples peut refaire l'opération.

La bonne démarche est l'inverse : commencer par le RAG et les règles métier, mesurer, et n'envisager le fine-tuning que si un besoin résiduel précis le justifie.

Sur la grande majorité de nos agents métier, il n'y a pas de fine-tuning. Il y a de l'indexation soignée, un découpage adapté au type de document, des règles métier explicites et un seuil de confiance calibré.

Nous utilisons le fine-tuning quand un modèle plus petit affiné permet de tourner localement là où un grand modèle ne tiendrait pas — c'est-à-dire pour des raisons d'architecture, pas de performance brute.

Le fine-tuning répond à des questions de forme et de comportement, rarement à des questions de connaissance. Pour apprendre votre métier à un agent, l'indexation de vos documents fait mieux, coûte moins, et reste vérifiable.