Budowa infrastruktury agentów AI

Czym jest infrastruktura agentów AI i dlaczego decyduje o sukcesie lub porażce

Infrastruktura agentów AI to suma wszystkich technicznych i organizacyjnych elementów, na których działają agenci AI w produkcji: topologia wdrożenia (gdzie i pod jaką jurysdykcją agent jest uruchomiony), stack inferencji i orkiestracji, warstwa sieci i tożsamości, monitoring/obserwowalność oraz kontrola kosztów i bezpieczeństwa. W przeciwieństwie do prostego chatbota agent jest wieloetapowym systemem korzystającym z narzędzi, który generuje ruch wschód-zachód (east-west) między orkiestratorem, serwerami narzędzi, pamięcią i bazą wektorową, a tym samym stawia zupełnie inne wymagania wobec sieci, tożsamości i obserwowalności.

Dla decydentów w Europie infrastruktura to miejsce, w którym zapadają decyzje o suwerenności danych, opóźnieniach i compliance. Najpierw jedno rozróżnienie pojęć, bo to najczęstsze nieporozumienie w projektach w regionie DACH (Niemcy, Austria, Szwajcaria): Data Residency oznacza fizyczne miejsce przechowywania/przetwarzania danych, a Data Sovereignty jurysdykcję prawną wraz z jej zasięgiem eksterytorialnym (np. amerykańskiego CLOUD Act z 2018 roku). „Region Frankfurt” amerykańskiego hiperskalera zapewnia residency, a nie sovereignty. Do tego w języku średnich firm z DACH „on-prem” zwykle nie oznacza własnej serwerowni, tylko dedykowane środowisko w niezależnym od operatorów centrum danych kolokacyjnym w Niemczech, Austrii lub Szwajcarii.

Chmura, on-prem czy hybryda: pytanie o suwerenną topologię w UE

Topologia rzadko sprowadza się do jednej opcji, większość produkcyjnych stacków obejmuje co najmniej dwie. O wyborze decyduje pięć czynników, mniej więcej w tej kolejności wagi: wrażliwość danych/klasa regulacyjna, SLO opóźnień, wymóg suwerenności, przewidywalność kosztów oraz dostępne wewnętrzne know-how w zakresie platform.

Suwerenny rynek europejski wyraźnie dojrzał w latach 2025/2026. Microsoft zakończył wdrażanie EU Data Boundary 26 lutego 2025 roku i zobowiązał się, że kompleksowe przetwarzanie danych AI klientów z UE pozostanie w tych granicach, o ile klient nie postanowi inaczej. AWS udostępnił wszystkim klientom swoją European Sovereign Cloud w styczniu 2026 roku, z pierwszym regionem w Brandenburgii (zapowiedź w 2023 roku, inwestycja 7,8 mld EUR, operatorem są spółki prawa niemieckiego z obywatelem UE na stanowisku dyrektora zarządzającego; na start, według whitepapera AWS z września 2025 roku, około 90 z ponad 240 usług).

Obok nich istnieje osobna kategoria dostawców z regionu DACH, której zwykle brakuje w ogólnej anglojęzycznej literaturze o AI dla przedsiębiorstw: STACKIT (Schwarz Digits, z centrum danych także w Austrii; zapowiedziane 11 mld EUR na rozbudowę centrów danych AI, cel do 100 000 GPU), Open Telekom Cloud / T Cloud Public (Deutsche Telekom/T-Systems, „Sovereignty by Design”, wspólnie z NVIDIA Munich Industrial AI Cloud z maksymalnie 10 000 GPU Blackwell od Q1 2026), IONOS (AI Model Hub z Teuken-7B i Llama 3.3, pierwsza Legal AI Factory z Noxtua), Swisscom (Swiss AI Platform, partner wdrożeniowy otwartego szwajcarskiego LLM Apertus) oraz Infomaniak (w pełni pod szwajcarską kontrolą, zgodny z FADP i RODO). T-Systems publicznie zobowiązał się do zamknięcia luki funkcjonalnej wobec hiperskalerów do końca 2026 roku. To zobowiązanie z roadmapy, a nie obecny stan faktyczny.

Dominującym wzorcem w DACH pozostaje hybryda: wrażliwe dokumenty, embeddingi i baza wektorowa zostają on-prem lub w chmurze suwerennej, a tylko etap generowania wywołuje API hiperskalera, często przez proxy z kontrolą ruchu wychodzącego (egress). Uzupełniająco upowszechniają się wzorce confidential computing (model w regionie UE, klient trzyma klucze w modelu HYOK) oraz cloud bursting do wyspecjalizowanych dostawców GPU przy szczytowych obciążeniach.

Orkiestracja i stack inferencyjny

Stack inferencyjny to najbardziej zmienna warstwa. Wyraźny sygnał z branży: Hugging Face 11 grudnia 2025 roku przełączył TGI w tryb utrzymania (maintenance) i kieruje nowe wdrożenia do vLLM lub SGLang. W produkcji self-hosted standardem de facto jest w 2026 roku vLLM (PagedAttention, najszersze wsparcie sprzętowe, endpointy zgodne z OpenAI); SGLang wyróżnia się w czacie wieloturowym i ustrukturyzowanych odpowiedziach. NVIDIA NIM, czyli gotowe, zoptymalizowane mikrousługi przenośne między chmurą, centrum danych i stacjami roboczymi RTX, uchodzi za najbardziej pragmatyczną ścieżkę on-prem dla MŚP w regionie DACH.

Nad silnikiem inferencji AI gateway ugruntował się jako osobny komponent architektury. Odpowiada za failover między wieloma dostawcami, wirtualne klucze, budżety zespołów, obserwowalność, guardrails i maskowanie danych osobowych (PII). Praktyczna shortlista: LiteLLM (open source, self-hosted, zgodny z OpenAI dla ponad 100 dostawców, idealny, gdy liczy się pełna kontrola audytowa), Portkey (zarządzany i on-prem, mocna obserwowalność i governance) oraz Kong AI Gateway (jeśli Kong i tak jest standardem). Na poziomie orkiestracji rozpiętość sięga od frameworków takich jak LangGraph, CrewAI i AutoGen po stacki dostawców, np. Microsoft Foundry Agents czy suwerenną platformę Pharia od Aleph Alpha. Fuzję Aleph Alpha z Cohere ogłoszono w kwietniu 2026 roku i podpisano we wrześniu 2026 roku (raportowana wycena ok. 20 mld USD). Finalizacja wciąż wymaga zgód organów regulacyjnych.

Z punktu widzenia architektury kluczowe jest opóźnienie. Przy inferencji w tej samej lokalizacji opóźnienie sieciowe mieści się w zakresie jednocyfrowej liczby milisekund. Wywołanie transatlantyckie (agent we Frankfurcie wywołuje API na wschodnim wybrzeżu USA) dodaje samą trasą sieciową około 90 ms czasu podróży w obie strony (RTT), co pokazują pomiary ping między Frankfurtem a Waszyngtonem. Przy pięciu rundach wywołań narzędzi daje to około 450 ms czystego czasu sieciowego, zanim w ogóle doliczy się czas obliczeń wywołań modelu. To mocno utrudnia osiągnięcie UX agenta poniżej sekundy przy transatlantyckich wywołaniach API.

Monitoring i obserwowalność

Bez obserwowalności agentowymi workloadami nie da się sterować w produkcji. Potrzebne są standardy śledzenia (OpenTelemetry dla LLM, OpenInference), przypisywanie kosztów z dokładnością do tokena oraz eval harnessy. Dostępne są backendy zgodne z wymogami rezydencji danych w DACH: Langfuse self-hosted w UE, Datadog EU lub Honeycomb EU. Na pierwsze uruchomienie testowe przez Docker Compose Langfuse zaleca pojedynczą maszynę wirtualną z co najmniej 4 rdzeniami i 16 GiB pamięci RAM; w tej konfiguracji brakuje wysokiej dostępności i kopii zapasowych. Po stronie kosztów obserwowalność stanowi zwykle 2–8% całkowitego TCO, od praktycznie zera (Helicone Free, self-hosted Langfuse) do 5000–50 000 EUR miesięcznie za Datadog LLM Observability na poziomie korporacji.

Dwie kwestie mają znaczenie regulacyjne (informacyjnie, nie stanowi to porady prawnej): po pierwsze, unijny AI Act w art. 12 wymaga dla systemów sklasyfikowanych jako systemy wysokiego ryzyka rejestrowania zdarzeń (wejść, wyjść i decyzji) z granulacją umożliwiającą audyt, co we wdrożeniach korporacyjnych wymaga własnej infrastruktury logowania i przechowywania danych. Po drugie, wersje modeli warto przypinać i opatrzyć udokumentowanym planem rollbacku, ponieważ zarządzane API zmieniają wersje według harmonogramu dostawcy.

Koszty, FinOps i ekonomia tokenów

Rok 2026 jest pierwszym, w którym workloady agentów AI wymagają prawdziwej dyscypliny FinOps. Nakładają się dwa przełomy strukturalne: agentowe workflowy zwiększają zużycie tokenów na zapytanie od 5 do 50 razy (planner, tool call, krytyka, rewizja, weryfikacja), a drabina cenowa się rozszczepiła: klasa podstawowa (Haiku/Mini/Flash) potaniała od 2023 roku od 10 do 100 razy, podczas gdy klasa frontier utrzymuje się na poziomie około 5/25–30 USD za milion tokenów. Skutek: cena katalogowa nie koreluje już z miesięcznym rachunkiem, a produkcyjny TCO jest zwykle od 2 do 10 razy wyższy niż cena katalogowa dostawcy.

Kluczowe jest to, że przy skalowaniu tokeny API stanowią zwykle mniej niż połowę całkowitego TCO. Bezpośrednie koszty modelu to 30–50%, do tego dochodzą kaskady tool use (od +50% do +200% względem bezpośredniej linii API), fan-out subagentów (mnożnik od 3 do 10), compute/sandbox (10–25%), baza wektorowa/embeddingi (5–15%), obserwowalność (2–8%), compliance/governance (5–20%) oraz praca operacyjna (10–30%).

Najskuteczniejsze dźwignie leżą poniżej linii API:

• Caching to największa pojedyncza dźwignia. Anthropic daje 90% rabatu na odczyty z cache (cached input w Sonnet 4.6: 0,30 zamiast 3,00 USD/M), OpenAI rozlicza cached input po 10% ceny bazowej. Przy wskaźniku trafień cache na poziomie 80% koszty inputu spadają o 70–80%.
• Routing modeli: tani model do prostych zadań, drogi tylko do złożonych. Benchmark narzędzia Advisor od Anthropic (Sonnet + Opus jako advisor) osiągnął 74,8% w SWE-bench Multilingual przy kosztach niższych o 11,9% niż sam Opus.
• Batch API: ryczałtowo 50% rabatu przy SLA 24 godzin, można łączyć z cachingiem.
• Fallback na modele open-weight dla workloadów z długiego ogona (DeepSeek V4 Flash, Mistral Ministral, Qwen 3). Zgodnie z RODO tylko przez ścieżki hostowane w UE (Together AI EU, DeepInfra Frankfurt, STACKIT/OVHcloud), a nie przez bezpośrednie API hostowane w Chinach.

Łącznie dobrze opomiarowany program FinOps daje 60–80% redukcji kosztów w porównaniu z niezoptymalizowanym punktem wyjścia. Realia DACH dodatkowo podnoszą koszty: regiony UE u OpenAI i Anthropic mają 10% narzutu, suwerenny hosting kosztuje mniej więcej od 1,5 do 3 razy tyle, ile amerykańska chmura (SAP Joule AI Units ok. 1,5–2x), a compliance ops oraz współdecydowanie przedstawicieli pracowników podnoszą całkowity TCO o 15–35% względem porównywalnego workloadu w USA. Na każdego dostawcę przypada 5000–20 000 EUR rocznie bieżących kosztów umów powierzenia i podprocesorów. Badanie Bitkom z 2025 roku potwierdza presję na suwerenność: 68% uważa, że Niemcy są zbyt zależne od USA i Chin w obszarze AI, a 60% chce, by Niemcy stały się bardziej niezależne od amerykańskich firm AI.

Bezpieczeństwo i tożsamość

Zarządzanie tożsamością i kluczami to dźwignia, która z niesuwerennego regionu hiperskalera robi coś, czego da się bronić w świetle compliance w DACH (informacyjnie, nie stanowi to porady prawnej; szczegółowe omówienie RODO i umów powierzenia należy do tematów pokrewnych). Bazowa architektura:

• mTLS między wszystkimi komponentami agenta, to także typowy dowód w audytach BSI C5 i ISO 27001.
• Federacja OIDC/SAML dla firmowego SSO (Entra ID, Okta, KeyCloak); agent wymienia token użytkownika na krótkotrwałe tokeny do wywołań narzędzi.
• Workload identity (Azure Managed Identity, AWS IRSA, GCP Workload Identity Federation, w chmurach suwerennych OpenStack Keystone / konta usługowe K8s), żadnych statycznych poświadczeń w kodzie.
• KMS/HSM z BYOK/HYOK: przy BYOK dostawca nadal obsługuje klucz; przy HYOK chmura przy każdej operacji kryptograficznej odwołuje się do własnego HSM klienta (Utimaco/Akwizgran, Thales). Spośród modeli zarządzania kluczami HYOK zapewnia więc najsilniejszą suwerenność.

Agent ma nietypowo duży blast radius, ponieważ może wywoływać wiele narzędzi. Dobra praktyka: osobne konto usługowe dla każdej pary (agent x narzędzie), a nie jedno wspólne konto; podnoszenie uprawnień just-in-time; wszystkie poświadczenia z Vault lub KMS zamiast ze zmiennych środowiskowych oraz audit trail, który przez łańcuch token exchange wiąże się z powrotem z tożsamością użytkownika. Po stronie sieci przyjął się egress deny-by-default z jawną allowlistą FQDN API modeli: zapobiega niechcianym wyciekom danych, dostarcza dowodów do audytu i wymusza, by cały ruch do modeli przechodził przez gateway, gdzie działają limity zapytań (rate limits), filtry PII i budżety.

Compliance w DACH: wskazówki i perspektywy

Kilka reguł specyficznych dla DACH wpływa na realne decyzje architektoniczne (informacyjnie, nie stanowi to porady prawnej): od 1 lipca 2025 roku atestacja BSI C5 Type 2 jest obowiązkowa przy przetwarzaniu danych pacjentów w chmurze (DigiG / § 393 SGB V). Szwajcaria nie stosuje RODO, lecz FADP/revDSG (w mocy od 1 września 2023 roku). Zgodnie z rezolucją privatim, konferencji szwajcarskich inspektorów ochrony danych, opublikowaną w listopadzie 2025 roku, organy publiczne mogą przenosić szczególnie wrażliwe dane osobowe do rozwiązań SaaS dużych międzynarodowych dostawców tylko wtedy, gdy same szyfrują dane, a dostawca nie ma dostępu do klucza. Unijny AI Act obowiązuje etapami (harmonogram Komisji Europejskiej): zakazy od lutego 2025 roku, przepisy dotyczące GPAI od sierpnia 2025 roku, obowiązki przejrzystości z art. 50 od 2 sierpnia 2026 roku. Obowiązki dotyczące systemów wysokiego ryzyka przesunął AI Omnibus, obowiązujący od 27 lipca 2026 roku: na 2 grudnia 2027 roku dla systemów z załącznika III i na 2 sierpnia 2028 roku dla systemów AI w produktach objętych aktami prawnymi z załącznika I (np. dźwigi lub zabawki). To, które obowiązki Cię dotyczą, zależy od Twojej roli (dostawca czy podmiot stosujący) i klasyfikacji systemu.

Wskazówka praktyczna: nie zaczynaj od pytania zakupowego „Chmura czy on-prem?”, tylko od klasyfikacji danych i SLO opóźnień, bo to one determinują topologię. Od pierwszego dnia wbuduj AI gateway, egress deny-by-default i wybór modeli oparty na ewaluacjach, bo właśnie te „luki z pilotażu” zwykle pękają przy starcie produkcyjnym. Dla MŚP pragmatycznym domyślnym wyborem jest hybryda zakotwiczona w M365 ze strefą danych UE i niewielką warstwą RAG on-prem; w branżach regulowanych droga prowadzi przez STACKIT/Open Telekom Cloud z HYOK i suwerenną inferencją. Ponieważ roadmapy chmur suwerennych zmieniają się co kwartał, każdą decyzję architektoniczną warto opatrzyć datą („Stan na: ...”) i udokumentowanym wyzwalaczem migracji.