Construire une infrastructure d'agents IA

Ce qu'est une infrastructure d'agents IA et pourquoi elle décide du succès ou de l'échec

L'infrastructure d'agents IA désigne l'ensemble des briques techniques et organisationnelles sur lesquelles tournent les agents IA en production : la topologie de déploiement (où et sous quelle juridiction l'agent est exploité), la stack d'inférence et d'orchestration, la couche réseau et identité, le monitoring/l'observabilité ainsi que le pilotage des coûts et de la sécurité. Contrairement à un simple chatbot, un agent est un système multi-étapes qui utilise des outils : il génère du trafic est-ouest entre l'orchestrateur, les serveurs d'outils, la mémoire et le vector store, et impose donc des exigences très différentes en matière de réseau, d'identité et d'observabilité.

Pour les décideurs en Europe, l'infrastructure est le point où se jouent la souveraineté des données, la latence et la conformité. Une clarification s'impose d'emblée, car c'est la confusion la plus fréquente dans les projets de la région DACH (Allemagne, Autriche, Suisse) : la Data Residency désigne le lieu physique de stockage/traitement, la Data Sovereignty la juridiction applicable, y compris sa portée extraterritoriale (par exemple celle du US CLOUD Act de 2018). Une « région Francfort » d'un hyperscaler américain fournit la residency, pas la sovereignty. Par ailleurs, dans le langage des PME de la zone DACH, « on-premise » ne désigne généralement pas la salle serveurs de l'entreprise, mais un environnement dédié dans un centre de données de colocation neutre vis-à-vis des opérateurs, situé en Allemagne, en Autriche ou en Suisse.

Cloud, on-premise ou hybride : la question de la topologie souveraine européenne

La topologie relève rarement d'une seule option : la plupart des stacks de production en combinent au moins deux. Cinq facteurs guident le choix, à peu près dans cet ordre d'importance : sensibilité des données/classe réglementaire, SLO de latence, exigence de souveraineté, prévisibilité des coûts et savoir-faire plateforme disponible en interne.

Le marché souverain européen a nettement mûri en 2025/2026. Microsoft a finalisé l'EU Data Boundary le 26 février 2025 et s'est engagé à maintenir à l'intérieur de ce périmètre le traitement de bout en bout des données IA de ses clients européens, sauf instruction contraire du client. AWS a mis en disponibilité générale son European Sovereign Cloud en janvier 2026, avec une première région dans le Brandebourg (annoncé en 2023, investissement de 7,8 milliards d'euros, exploité par des sociétés de droit allemand dirigées par un citoyen de l'UE ; au lancement, selon le livre blanc AWS de septembre 2025, environ 90 services sur plus de 240).

À côté existe une catégorie à part, native de la zone DACH, généralement absente de la littérature anglophone générique sur l'IA d'entreprise : STACKIT (Schwarz Digits, avec un centre de données également en Autriche ; 11 milliards d'euros annoncés pour étendre ses centres de données IA, objectif jusqu'à 100 000 GPU), Open Telekom Cloud / T Cloud Public (Deutsche Telekom/T-Systems, « Sovereignty by Design », avec NVIDIA la Munich Industrial AI Cloud et jusqu'à 10 000 GPU Blackwell à partir du T1 2026), IONOS (AI Model Hub avec Teuken-7B et Llama 3.3, première Legal AI Factory avec Noxtua), Swisscom (Swiss AI Platform, partenaire de déploiement du LLM suisse ouvert Apertus) et Infomaniak (contrôle entièrement suisse, conforme à la LPD et au RGPD). T-Systems s'est publiquement engagé à combler l'écart fonctionnel avec les hyperscalers d'ici fin 2026. Il s'agit d'un engagement de roadmap, pas d'un état actuel.

Le modèle dominant en DACH reste l'hybride : les documents sensibles, les embeddings et le vector store restent on-premise ou dans le cloud souverain, seule l'étape de génération appelle une API d'hyperscaler, souvent via un proxy à egress contrôlé. En complément, on voit s'installer des schémas de confidential computing (modèle dans la région UE, le client détient les clés via HYOK) et du cloud bursting vers des spécialistes GPU pour les pics de charge.

Orchestration et stack d'inférence

La stack d'inférence est la couche la plus volatile. Signal fort du secteur : Hugging Face a passé TGI en mode maintenance le 11 décembre 2025 et oriente les nouveaux déploiements vers vLLM ou SGLang. Pour la production auto-hébergée, vLLM (PagedAttention, support matériel le plus large, endpoints compatibles OpenAI) est en 2026 le standard de fait ; SGLang se distingue sur le chat multi-tours et la sortie structurée. NVIDIA NIM, des microservices préconfigurés et optimisés, portables entre cloud, centre de données et stations de travail RTX, passe pour la voie on-premise la plus pragmatique dans les PME de la zone DACH.

Au-dessus du moteur d'inférence, la passerelle IA s'est imposée comme un composant d'architecture à part entière. Elle prend en charge le failover multi-fournisseurs, les clés virtuelles, les budgets par équipe, l'observabilité, les guardrails et le masquage des données personnelles (PII). Shortlist pratique : LiteLLM (open source, auto-hébergé, compatible OpenAI pour plus de 100 fournisseurs, idéal quand la maîtrise des audits compte), Portkey (managé et on-premise, observabilité et gouvernance solides) et Kong AI Gateway (si Kong est déjà le standard). Au niveau de l'orchestration, l'éventail va des frameworks comme LangGraph, CrewAI et AutoGen aux stacks de fournisseurs comme Microsoft Foundry Agents ou la plateforme souveraine Pharia d'Aleph Alpha. La fusion d'Aleph Alpha avec Cohere a été annoncée en avril 2026 et signée en septembre 2026 (valorisation rapportée d'environ 20 milliards de dollars). La finalisation reste soumise aux autorisations réglementaires.

Sur le plan architectural, la latence est centrale. Avec une inférence colocalisée, la latence réseau reste de l'ordre de quelques millisecondes. Un appel transatlantique (agent à Francfort vers une API de la côte Est des États-Unis) ajoute à lui seul, pour le trajet réseau, environ 90 ms de temps aller-retour (RTT), comme le montrent les mesures de ping entre Francfort et Washington. Avec cinq tours d'appels d'outils, on cumule ainsi environ 450 ms de temps réseau pur, avant même d'ajouter le temps de calcul des appels au modèle. Difficile, dans ces conditions, d'offrir une UX d'agent sous la seconde avec des appels d'API transatlantiques.

Monitoring et observabilité

Sans observabilité, les workloads agentiques ne sont pas pilotables en production. Il faut des standards de traces (OpenTelemetry pour les LLM, OpenInference), une attribution des coûts au token près et des eval harnesses. Des backends conformes à la résidence des données en DACH existent : Langfuse auto-hébergé dans l'UE, Datadog EU ou Honeycomb EU. Pour un premier test avec Docker Compose, Langfuse recommande une seule VM avec au moins 4 cœurs et 16 Gio de mémoire vive ; cette configuration ne prévoit ni haute disponibilité ni sauvegardes. Côté coûts, l'observabilité représente généralement 2–8 % du TCO total, de quasiment zéro (Helicone Free, Langfuse auto-hébergé) jusqu'à 5 000–50 000 EUR/mois pour Datadog LLM Observability à l'échelle d'un grand groupe.

Deux points sont pertinents sur le plan réglementaire (à titre informatif, ceci n'est pas un conseil juridique) : premièrement, pour les systèmes classés à haut risque, le règlement européen sur l'IA exige, en vertu de l'art. 12, une journalisation des événements couvrant entrées, sorties et décisions avec une granularité auditable, ce qui, dans les déploiements de grands groupes, nécessite une infrastructure de journalisation et de stockage dédiée. Deuxièmement, il faut figer les versions des modèles et les assortir d'un plan de rollback documenté, car les API managées changent de version selon le calendrier du fournisseur.

Coûts, FinOps et économie des tokens

2026 est la première année où les workloads d'agents IA exigent une vraie discipline FinOps. Deux ruptures structurelles se combinent : les workflows agentiques multiplient la consommation de tokens par requête par 5 à 50 (planner, tool call, critique, révision, vérification), et l'échelle des prix s'est scindée : la gamme d'entrée (Haiku/Mini/Flash) a baissé d'un facteur 10 à 100 depuis 2023, tandis que la gamme frontier stagne autour de 5/25–30 USD par million de tokens. Conséquence : le prix catalogue n'est plus corrélé à la facture mensuelle, et le TCO en production dépasse généralement le prix catalogue du fournisseur d'un facteur 2 à 10.

Point décisif : à l'échelle, les tokens d'API représentent généralement moins de la moitié du TCO total. Les coûts directs du modèle pèsent 30–50 %, auxquels s'ajoutent les cascades de tool use (+50 % à +200 % sur la ligne API directe), le fan-out de sous-agents (multiplicateur de 3 à 10), compute/sandbox (10–25 %), base vectorielle/embeddings (5–15 %), observabilité (2–8 %), conformité/gouvernance (5–20 %) et main-d'œuvre d'exploitation (10–30 %).

Les leviers les plus efficaces se situent sous la ligne API :

• Le caching est le principal levier pris isolément. Anthropic accorde 90 % de remise sur les lectures de cache (cached input sur Sonnet 4.6 : 0,30 au lieu de 3,00 USD/M), OpenAI facture le cached input à 10 % du prix de base. Avec un taux de cache hit de 80 %, les coûts d'input baissent de 70–80 %.
• Routage de modèles : un modèle bon marché pour les tâches simples, un modèle coûteux uniquement pour les tâches complexes. Le benchmark de l'Advisor Tool d'Anthropic (Sonnet + Opus en advisor) a atteint 74,8 % sur SWE-bench Multilingual pour un coût inférieur de 11,9 % à celui d'Opus seul.
• API Batch : 50 % de remise forfaitaire avec un SLA de 24 heures, cumulable avec le caching.
• Fallback open-weight pour les workloads de longue traîne (DeepSeek V4 Flash, Mistral Ministral, Qwen 3). Conforme au RGPD uniquement via des voies hébergées dans l'UE (Together AI EU, DeepInfra Frankfurt, STACKIT/OVHcloud), pas via des API directes hébergées en Chine.

En cumulant ces leviers, un programme FinOps bien instrumenté obtient 60–80 % de réduction des coûts par rapport à la valeur de départ non optimisée. La réalité DACH alourdit encore la facture : les régions UE d'OpenAI et d'Anthropic appliquent un supplément de 10 %, l'hébergement souverain coûte environ 1,5 à 3 fois le prix du cloud américain (SAP Joule AI Units env. 1,5–2x), et les opérations de conformité plus la cogestion avec les représentants du personnel augmentent le TCO total de 15–35 % par rapport à un workload américain comparable. Par fournisseur, il faut prévoir 5 000–20 000 EUR/an de coûts récurrents de DPA et de sous-traitants ultérieurs. Une enquête Bitkom de 2025 confirme la pression en faveur de la souveraineté : 68 % estiment que l'Allemagne est trop dépendante des États-Unis et de la Chine en matière d'IA, 60 % veulent que l'Allemagne devienne plus indépendante des entreprises américaines d'IA.

Sécurité et identité

La gestion des identités et des clés est le levier qui transforme une région d'hyperscaler non souveraine en un environnement défendable au regard de la conformité DACH (à titre informatif, ceci n'est pas un conseil juridique ; le traitement détaillé du RGPD et des DPA relève des sujets connexes). La baseline d'architecture :

• mTLS entre tous les composants de l'agent, c'est aussi une preuve typique lors des audits BSI C5 et ISO 27001.
• Fédération OIDC/SAML pour le SSO d'entreprise (Entra ID, Okta, KeyCloak) ; l'agent échange le token de l'utilisateur contre des tokens à courte durée de vie pour les tool calls.
• Workload identity (Azure Managed Identity, AWS IRSA, GCP Workload Identity Federation, dans les clouds souverains OpenStack Keystone / service accounts K8s), aucun identifiant statique dans le code.
• KMS/HSM avec BYOK/HYOK : avec BYOK, le fournisseur continue d'exploiter la clé ; avec HYOK, le cloud appelle le HSM propre du client (Utimaco/Aix-la-Chapelle, Thales) pour chaque opération cryptographique. Parmi les modèles de gestion des clés, HYOK offre donc la souveraineté la plus forte.

Un agent présente un blast radius inhabituellement élevé, car il peut appeler de nombreux outils. Bonne pratique : un service account par paire (agent x outil) plutôt qu'un compte partagé, élévation just-in-time, tous les identifiants issus de Vault ou d'un KMS plutôt que de variables d'environnement, et une piste d'audit rattachée à l'identité de l'utilisateur via une chaîne de token exchange. Côté réseau, l'egress deny-by-default avec une allowlist explicite des FQDN des API de modèles s'est imposé : il empêche les fuites de données involontaires, fournit des preuves d'audit et force tout le trafic vers les modèles à passer par la passerelle, où se trouvent rate limits, filtres PII et budgets.

Points de conformité DACH et perspectives

Plusieurs règles propres à la zone DACH pèsent sur des décisions d'architecture concrètes (à titre informatif, ceci n'est pas un conseil juridique) : depuis le 1er juillet 2025, l'attestation BSI C5 Type 2 est obligatoire pour le traitement dans le cloud des données de patients (DigiG / § 393 SGB V). La Suisse n'applique pas le RGPD mais la LPD/nLPD (en vigueur depuis le 1er septembre 2023). Selon la résolution de privatim, la Conférence des préposés suisses à la protection des données, publiée en novembre 2025, les organes publics ne peuvent externaliser des données personnelles sensibles vers des solutions SaaS de grands fournisseurs internationaux que s'ils chiffrent eux-mêmes les données et que le fournisseur n'a pas accès à la clé. Le règlement européen sur l'IA s'applique par étapes (calendrier de la Commission européenne) : interdictions depuis février 2025, règles GPAI depuis août 2025, obligations de transparence de l'art. 50 depuis le 2 août 2026. Les obligations relatives au haut risque ont été reportées par l'omnibus IA, en vigueur depuis le 27 juillet 2026 : au 2 décembre 2027 pour les systèmes de l'annexe III et au 2 août 2028 pour les systèmes d'IA intégrés à des produits relevant des actes législatifs de l'annexe I (par exemple les ascenseurs ou les jouets). Les obligations applicables dépendent de ton rôle (fournisseur ou déployeur) et de la classification du système.

Conseil pratique : ne commence pas par la question d'achat « Cloud ou on-premise ? », mais par la classification des données et le SLO de latence, car ce sont eux qui déterminent la topologie. Intègre dès le premier jour la passerelle IA, l'egress deny-by-default et un choix de modèles piloté par les evals, car ce sont précisément ces « trous du pilote » qui cèdent généralement au passage en production. Pour les PME, le choix pragmatique par défaut est un hybride ancré dans M365 avec zone de données UE et une petite couche RAG on-premise ; pour les secteurs réglementés, la voie passe par STACKIT/Open Telekom Cloud avec HYOK et une inférence souveraine. Comme les roadmaps des clouds souverains évoluent chaque trimestre, chaque décision d'architecture devrait porter une date (« État au ... ») et un déclencheur de migration documenté.