L'essentiel
Nous avons fait coder 7 tâches, dont trois dans de vraies bibliothèques Rust (glob, semver et csv, jusqu'à 12 000 lignes), de trois façons : Claude Sonnet 5.5 seul, Claude Opus 5.5 seul, et un plan écrit par un grand modèle puis exécuté tâche par tâche avec relecture. La note vient de tests cachés que personne n'a vus. Résultat sur 39 runs : Sonnet seul réussit 100 % des tests à chaque fois. Le plan fait le même score en 2,7 à 4,5 fois plus de temps et environ 2 fois plus de jetons ; une fois, il a même échoué avant d'écrire une ligne.
La question : un grand modèle qui planifie, ça aide ?
L'idée est séduisante : un modèle puissant découpe l'objectif en tâches, un modèle moins cher exécute chaque morceau, un troisième relit. C'est la promesse de beaucoup d'outils multi-agents, et c'est ce que nous avons construit dans Maestro : un planificateur sans outils, au plafond de jetons vérifié, dont le plan est contrôlé par le code avant d'être exécuté.
Avant de le mettre par défaut, nous l'avons mesuré. Les publications sérieuses vont plutôt dans l'autre sens : Anthropic mesure qu'un système multi-agent consomme environ 15 fois plus de jetons qu'un chat, et OpenAI recommande de pousser d'abord un agent seul au maximum. Il fallait savoir ce qu'il en est sur du code, avec nos propres tâches.
Le protocole
- Trois bras. Sonnet 5.5 seul (une tâche, tout l'objectif) ; Opus 5.5 seul ; plan : un planificateur découpe, le code part sur Sonnet 5.5, la relecture sur Opus 5.5, un autre modèle que celui qui a écrit le code.
- Sept tâches de taille croissante. Une fonction de durées ; des chiffres romains stricts avec un binaire ; un moteur cron (prochaine occurrence, années bissextiles, règle du « ou ») ; un analyseur JSON strict selon trois RFC ; puis trois dépôts existants : l'alternance par accolades dans
glob, des plages de versions à la npm danssemver, et quatre fonctions d'un coup danscsv(12 000 lignes). - Des tests cachés. Écrits à part et vérifiés sur notre propre implémentation de référence, ils ne sont copiés dans le dépôt qu'après le run. Ni le planificateur ni les exécutants ne les voient. Sur les dépôts réels, la version d'origine les échoue (5 sur 22 pour glob ; semver et csv ne compilent même pas avec).
- Tout est mesuré. Chaque tour d'exécutant est un appel Claude Code sans fenêtre : jetons lus et générés, modèle réellement servi, durée. Les trois bras d'une même tâche tournent en même temps, sous la même charge machine.
- Le planificateur. Prévu sur Claude Fable 5.2 ; ce modèle ayant atteint sa limite d'usage pendant les essais, Maestro s'est replié sur Opus 5.5 et l'a noté dans chaque reçu. Les bras Fable seront ajoutés à cet article.
Les résultats
| Tâche | Runs par bras | Tests cachés | Durée : Sonnet / Opus / plan | Jetons lus : Sonnet / Opus / plan |
|---|---|---|---|---|
Durées (parse_duration) | 1 | 18/18 partout | 16 s / 29 s / 43 s | 68 k / 70 k / 96 k |
| Chiffres romains + binaire | 1 | 16/16 partout | 25 s / 37 s / 101 s | 69 k / 71 k / 168 k |
| Moteur cron + binaire | 1 | 20/20 partout | 38 s / 74 s / 137 s | 74 k / 108 k / 256 k |
| JSON strict (RFC 8259, 6901, 7386) | 1 | 26/26 partout | 61 s / 116 s / 273 s | 112 k / 121 k / 626 k |
glob : accolades {a,b} | 3 | 22/22 partout | 74 s / 186 s / 276 s (médianes) | 325 k / 477 k / 811 k |
| semver : plages npm | 3 | 16/16, sauf un plan à 0 | 89 s / 171 s / 303 s | 237 k / 327 k / 580 k |
| csv : quatre fonctions (12 000 lignes) | 3 | 26/26 partout | 117 s / 219 s / 364 s | 491 k / 967 k / 1 086 k |
Les jetons lus comprennent le cache : un exécutant relit son contexte à chaque étape, c'est ce poste qui domine. Le coût du plan lui-même est faible (environ 5 000 jetons lus et autant générés) ; ce qui coûte, c'est l'exécution découpée : chaque tâche relit le dépôt, chaque relecture aussi.
Ce que nous en concluons
Sur un objectif clair qui tient dans une session, même long et même dans un dépôt de 12 000 lignes, un seul exécutant bien choisi fait aussi bien qu'un plan, deux à quatre fois moins cher. Le plus gros modèle n'apporte rien non plus : Opus seul fait le même score que Sonnet, en deux fois plus de temps. Le bon réglage est le modèle le moins cher qui atteint le score, et ce sont les tests qui décident.
Ce que cela a changé dans Maestro
Nous avions construit maestro construire pour planifier d'abord. Les mesures nous ont fait inverser l'ordre :
- Exécuter directement. L'objectif part en une seule tâche, sur le modèle choisi pour le domaine « code » (Sonnet 5.5 par défaut), avec vos tests comme juge et un plafond de jetons vérifié avant chaque tour.
- Planifier en recours. Si l'exécutant épuise ses tours sans faire passer les tests, le planificateur reprend avec la sortie des tests pour dossier et découpe le travail, deux fois au plus.
- Planifier d'emblée sur demande (
--planifier), pour les chantiers dont vous savez qu'ils dépassent une session.
Chaque construction se termine par un reçu : le plan s'il y en a un, le modèle demandé et le modèle réellement servi à chaque tour, les jetons lus et générés, la durée. Aucun prompt n'y figure.
Ce que les essais ont cassé dans notre propre harness
Mesurer en réel a surtout servi à trouver nos défauts, avant vous :
- La limite d'usage d'un modèle lue comme une panne. Le message « You've hit your Fable limit » n'était pas reconnu comme un quota. Il l'est, et le planificateur passe au modèle suivant en le disant.
- Une frontière de fichiers trop stricte. Le plan donnait à chaque tâche une liste de fichiers ; une tâche juste a été arrêtée parce qu'elle devait aussi déclarer son module dans
src/lib.rs. La frontière appliquée est désormais le périmètre que vous donnez ; les fichiers du plan ne font que guider. - Une relecture refusée à tort. Opus relisant du code écrit par Sonnet sur le même client était jugé « pas indépendant ». L'indépendance se juge maintenant par modèle exact.
- Un plan valide refusé pour 69 caractères. Une consigne de tâche dépassait la limite du schéma ; trois plans corrects ont été rejetés et le run a échoué sans rien exécuter. C'est le zéro du tableau semver.
Les limites de cette mesure
- Peu de répétitions : un run par case sur les quatre premières tâches, trois sur les dépôts réels. Les écarts de coût sont nets et réguliers ; un écart de qualité de quelques pour cent passerait inaperçu.
- Des objectifs précis. Nos tâches donnaient les signatures et le comportement attendus. Un objectif flou (« rends ce module plus robuste ») ou un chantier de dizaines de fichiers pourrait donner l'avantage au plan ; ce n'est pas encore mesuré.
- Un seul fournisseur. Tous les bras sont des modèles Claude. Codex, Grok et les modèles locaux d'Ollama feront l'objet d'une autre série.
- Fable 5.2 absent pour cause de limite d'usage pendant les essais ; ses bras seront ajoutés ici.
FAQ
Faut-il un modèle planificateur pour coder avec des agents ?
Pas sur un objectif clair qui tient dans une session. Sur nos 39 runs, un exécutant seul (Claude Sonnet 5.5) a réussi 100 % des tests cachés ; le plan a fait le même score pour 2 à 4 fois plus de temps et environ 2 fois plus de jetons.
Un plus gros modèle code-t-il mieux ?
Pas sur ces tâches : Opus 5.5 seul a fait le même score que Sonnet 5.5 seul, en environ deux fois plus de temps et avec plus de jetons. Le bon choix est le modèle le moins cher qui atteint le score, vérifié par vos tests.
Quand un plan peut-il servir ?
Quand un exécutant seul échoue : objectif flou, chantier qui dépasse une session, plusieurs parties vraiment indépendantes. C'est pourquoi Maestro garde le planificateur en recours, avec la sortie des tests comme point de départ, et sur demande.
Comment les résultats ont-ils été notés ?
Par des tests cachés, écrits à part, vérifiés sur une implémentation de référence et copiés dans le dépôt seulement après le run. Aucun modèle ne les a vus.
Sources
- Anthropic, How we built our multi-agent research system, 13 juin 2025 (environ 4 fois plus de jetons pour un agent qu'un chat, 15 fois pour un système multi-agent).
- Anthropic, Building effective agents, 19 décembre 2024.
- OpenAI, A practical guide to building agents (PDF).
- Cognition, Walden Yan, Don't Build Multi-Agents, 12 juin 2025.
- OutilsIA, Harness d'agents IA : le code autour du modèle.