Orchestration LLM : coût d'inférence et agents

Cinq agents sur un ticket de helpdesk. Planificateur, chercheur, rédacteur, critique, vérificateur. Chacun appelle le modèle à la suite. L’entrée du suivant contient la sortie du précédent. La latence p99 (le 99e percentile du temps de réponse) est la somme de cinq appels, pas le maximum. La facture est une somme aussi. Un ticket qui coûte 1500 jetons en un appel en coûte 10 500 dans cet équipage, avant que quelqu’un dise « faux ».

L’orchestration LLM (large language model, grand modèle de langage) est la décision de savoir quel appel a le droit d’exister. Le coût d’inférence est le produit du nombre d’appels, des jetons et des reprises. Ce n’est pas le nom du framework sur la diapositive.

Trois motifs que les briefs fondent en « agents » :

• Routeur. Un petit appel décide si le modèle cher s’exécute. Ong et al., RouteLLM: Learning to Route LLMs with Preference Data (arXiv:2406.18665, 2024). Le résumé : dans une partie des cas, le coût baisse de plus de 2×, sans perte de qualité. Le README du même projet (lm-sys) donne un chiffre plus fort : jusqu’à 85 % moins cher en gardant 95 % de la qualité de GPT-4 sur le benchmark MT Bench. C’est une paire de modèles et ce benchmark. Pas votre trafic.
• Cascade. Un modèle bon marché répond. Le modèle cher ne démarre que si un vérificateur rejette le résultat. Chen, Zaharia et Zou, FrugalGPT (arXiv:2305.05176, 2023). Tableau 3, même qualité que le meilleur modèle seul : HEADLINES 98,3 % moins cher (coût 33,1 contre 0,6, base GPT-4), OVERRULING 73,3 % (9,7 contre 2,6, base GPT-4), COQA 59,2 % (72,5 contre 29,6, base GPT-3, pas GPT-4). Les auteurs parlent d’une fourchette de 50 % à 98 %. Le résumé : jusqu’à 98 % moins cher, ou 4 % meilleur au même coût. Un autre point de fonctionnement du même article, budget égal à un cinquième du coût de GPT-4 sur HEADLINES : environ 80 % moins cher et +1,5 % de qualité. Ce n’est pas le même pourcentage que 98,3 %.
• Graphe de rôles. Plusieurs agents, une bande, des outils différents. Utile quand une étape peut s’arrêter sur une condition. Inutile comme cinq intitulés de poste sur une classification de ticket.

1. Anatomie : pourquoi le cinquième appel est le cher

Le coût ne croît pas linéairement avec le nombre de rôles si chaque rôle ne reçoit que sa propre instruction. Dans un graphe typique, il croît parce que le contexte est concaténé. L’arithmétique ci-dessous suppose un prompt système de 800 jetons, un ticket de 400 jetons et 300 jetons de sortie par étape. Sans cache de préfixe (cache du début commun de la requête), chaque appel repaie ce début.

entrée = 1200 + 1500 + 1800 + 2100 + 2400 = 9000
sortie = 5 × 300                          = 1500
total  = 10500 jetons par ticket
un appel = 800 + 400 + 300                = 1500
rapport = 7

Le facteur sept n’est pas une facture. C’est une addition que l’on peut refaire sur papier. Une reprise de la dernière étape ajoute 2400 jetons d’entrée et 300 de sortie, soit 2700. La queue vient de la reprise, pas du premier appel.

Sur un chemin série, le p99 est une somme. Une hypothèse, pas une lecture de supervision : si un appel dure 2 secondes, cinq appels durent 10 secondes. Les branches parallèles ne raccourcissent l’horloge que jusqu’à la branche la plus lente plus l’appel qui les fusionne. Vous payez toutes les branches, y compris celle dont le résultat part à la corbeille.

Un serveur à vous ne transforme pas cinq appels en un. Kwon, Li et al., PagedAttention et le système vLLM (SOSP 2023, arXiv:2309.06180), rendent un jeton moins cher : sur leur montage de 2023, le débit de modèles courants augmente de 2 à 4 fois face à FasterTransformer et Orca, au même niveau de latence. Le gain est plus fort sur les longues séquences. C’est le rangement du cache clé-valeur (KV cache). Pas une raison d’ajouter un quatrième agent.

Cemri, Pan, Yang et al., Why Do Multi-Agent LLM Systems Fail? (arXiv:2503.13657, version de mars 2025). Taxonomie MAST : 14 modes d’échec en trois paniers, accord des annotateurs kappa 0,88. Les paniers :

1. Spécification et conception. Un agent ignore la tâche ou son propre rôle. Il ne connaît pas la condition d’arrêt. Il perd l’historique.
2. Décalage entre agents. L’un ne demande pas, l’autre ne transmet pas ce qu’il sait déjà. La conversation quitte la tâche ou repart de zéro.
3. Vérification et terminaison. Arrêt trop tôt, pas de contrôle, ou contrôle de la mauvaise chose.

Un exemple de leur trace ChatDev. Tâche : échecs en notation algébrique, coups du type « Ke8 ». Le système rend un jeu qui lit des coordonnées de cases. Le vérificateur constate que le code compile. Il ne vérifie pas les règles des échecs. La compilation est un test bon marché. Ce n’est pas un test de la tâche.

2. Quels chiffres se transportent, et lesquels non

Tableau 4 du même article, jeu ProgramDev (leurs 32 tâches « écris un programme », pas HumanEval). ChatDev dans la topologie de base termine la tâche dans 25,0 % des exécutions. Meilleur prompt : 34,4 %. Nouvelle topologie de graphe : 40,6 %. Dans le texte, les auteurs parlent d’un gain de l’ordre de 14 points de pourcentage et disent clairement que cela ne ferme pas les échecs. HumanEval, sur le même montage, passe de 89,6 % à 91,5 %. Un benchmark déjà haut ne montre pas le coût d’une mauvaise orchestration.

Deuxième expérience, AG2 et GSM-Plus, six répétitions. Avec GPT-4, le meilleur prompt seul passe de 84,75 % à 89,75 %. Une nouvelle topologie à trois rôles reste à 85,50 %, et le test de Wilcoxon contre la base a p = 0,4 : cet écart ne se sépare pas du bruit. Avec GPT-4o, le prompt et la nouvelle topologie battent la base (p = 0,03), tous deux près de 89 %. « Ajoutons un agent » n’est pas un correctif qui gagne quel que soit le modèle.

Un juge modèle (LLM-as-a-judge, notation d’une trace par un autre modèle) n’est pas un audit gratuit. Chez eux, o1 avec des exemples dans le prompt a une exactitude de 0,94 et un kappa de 0,77 face aux humains. Sans exemples, le kappa tombe à 0,58. On peut tamiser des traces avec ça. On ne signe pas une clause de qualité avec ça.

3. Exemple : 10 500 jetons avant que quelqu’un dise « faux »

Les chiffres des articles ne passent pas 1:1 sur votre facture d’API. Le découpage, oui : d’abord le nombre d’appels, ensuite si le vérificateur sait dire « faux », ensuite le prix du jeton. Commencer par vLLM sur un graphe de cinq rôles range la même boucle moins cher.

4. Tableau de décision : quoi appeler, quoi ne pas automatiser

AI / LLM / RAG (retrieval-augmented generation, réponse appuyée sur des documents retrouvés) : taux spécialiste 180–250 PLN/h, taux client 240–350 PLN/h. Environ 35–50 % de plus que Python pour un backend ordinaire. Marge du fournisseur en modèle ouvert : 10–25 %. Une carte du marché, pas un devis. Détail : ce que coûte le body leasing IT en 2026. La recherche documentaire est une autre boucle que le nombre d’appels d’agents. Le réentraînement du modèle en est une troisième : services MLOps.

5. Anti-patrons absents du tutoriel du framework

1. Cinq rôles pour classer un ticket. Le framework tourne. Le jeu d’évaluation non. ChatDev termine 25,0 % des tâches ProgramDev. Une meilleure topologie atteint 40,6 %, et les auteurs écrivent que ce n’est pas assez pour la production.
2. Un critique sans condition d’arrêt. MAST : pas de condition de fin, et une vérification qui contrôle la compilation au lieu de la tâche. Un contrôle vide est bon marché et ne prend rien. Un contrôle qui exige toujours une reprise ajoute l’appel le plus cher à la queue.
3. Un pourcentage d’un jeu étranger écrit dans le contrat. 98,3 % c’est HEADLINES. 85 % c’est MT Bench et la paire de modèles du README RouteLLM. Sur votre trafic, le seuil se recalibre. Sinon l’économie est silencieuse : la qualité baisse, l’API ne renvoie pas d’erreur.
4. Des journaux de prompts avec des données personnelles dans l’outil de trace de quelqu’un d’autre. Un accord de sous-traitance ne suit pas un SDK qui envoie le texte du ticket « pour déboguer ». La trace reste dans votre projet.

6. Playbook : qui louer, et dans quel ordre

Ne commencez pas par un cinquième rôle. Commencez par la question de ce qui tient la facture : le nombre d’appels, un contrôle manquant, ou le prix du jeton sur votre GPU.

1. L’API est là, vous utilisez déjà un modèle, il manque une limite d’étapes et un jeu d’évaluation. C’est du body leasing d’un développeur LLM : une personne, votre standup, votre critère d’achèvement (Definition of Done). Le body leasing signifie ici la location d’un spécialiste dans votre équipe, en général au temps passé (time and materials, T&M). Nous ne vendons pas un banc nommé pour lundi matin.
2. Les données ne peuvent pas aller dans une API, et la trace, l’éval et le serveur n’existent pas. Une personne ne coud pas ça en un sprint. Une équipe : quelqu’un pour l’orchestration, quelqu’un pour le contrôle, quelqu’un pour le service du modèle. C’est plus proche du leasing d’équipes IT que de « on achète encore quelqu’un pour les prompts ». Quand une équipe, quand un rôle : team leasing vs body leasing 2026.
3. La clé d’API et le dépôt ne partent pas sur un portable. Le contractant travaille dans votre dépôt et avec votre clé. Exporter les journaux « pour reproduire le bug plus vite » est une collection de tickets clients. Clauses : contrats, marges, droits d’auteur.
4. Montée en charge. Une personne dans une équipe existante : premiers profils en quelques jours, démarrage après vos entretiens et le contrat. Une équipe depuis zéro : des semaines, parce que vous cousez les droits et la condition d’arrêt en production. L’annonce « trois seniors LLM dès lundi » est soit un CV, soit un banc que nous n’avons pas.

Commoditech fait du T&M et du recrutement en CDI depuis Varsovie, depuis 2012. Le réseau compte 80+ spécialistes. Nous ne les gardons pas inactifs sur un banc. Un brief de body leasing ou d’embauche (honoraires de succès, success fee 15–25 %, pas d’embauche signifie pas d’honoraires) peut aussi partir de l’éditeur, via MCP pour agents IA (Model Context Protocol, le protocole par lequel un assistant dans l’éditeur appelle des outils). Un humain chiffre le stack précis. Les fourchettes sont dans l’article sur les taux, pas dans une réponse automatique. Contact : formulaire.

FAQ

Sources

• Cemri, M., Pan, M. Z., Yang, S. et al. (2025). Why Do Multi-Agent LLM Systems Fail? arXiv:2503.13657. arxiv.org/abs/2503.13657. Les chiffres du tableau 4 viennent de la version de mars 2025.
• Chen, L., Zaharia, M., Zou, J. (2023). FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance. arXiv:2305.05176. arxiv.org/abs/2305.05176.
• Ong, I. et al. (2024). RouteLLM: Learning to Route LLMs with Preference Data. arXiv:2406.18665. arxiv.org/abs/2406.18665. Le 85 % / 95 % de qualité GPT-4 sur MT Bench est le README du projet lm-sys, pas le résumé (le résumé parle d’une baisse de coût de plus de 2×).
• Kwon, W., Li, Z. et al. (2023). Efficient Memory Management for Large Language Model Serving with PagedAttention. SOSP 2023, arXiv:2309.06180. arxiv.org/abs/2309.06180.
• Commoditech — taux de body leasing 2026, développeurs LLM, team leasing vs body leasing.