OpenAI narazila na problém, který se může týkat každé firmy, která pracuje s AI
Bezpečnostní incident v OpenAI nezasáhl samotné modely, ale infrastrukturu používanou při jejich testování. Bezpečnost AI stojí na celém ekosystému služeb, identit a integrací.
Když OpenAI v červenci zveřejnila informace o bezpečnostním incidentu spojeném s prostředím pro hodnocení AI modelů na platformě Hugging Face, nešlo o kompromitaci samotných modelů ani služeb ChatGPT. Incident zasáhl infrastrukturu používanou při jejich testování a benchmarkingu.
Hugging Face je platforma, na které vývojáři sdílejí AI modely, datové sady i nástroje pro jejich vývoj a vyhodnocování. V mnoha organizacích představuje běžnou součást vývojového ekosystému. OpenAI ji využívala mimo jiné při hodnocení výkonu některých modelů.
Událost ukázala, že bezpečnost AI nestojí jen na samotném modelu. Stejnou pozornost si zaslouží všechny služby, které se podílejí na jeho vývoji, testování nebo provozu. Čím více externích platforem, API a automatizovaných procesů organizace zapojí, tím složitější je udržet přehled o tom, kdo má kam přístup, jak mezi sebou jednotlivé služby komunikují a kde mohou vzniknout slabá místa.
AI mění podobu podnikové infrastruktury
Ve většině organizací se AI nestaví jako samostatný systém. Nové služby se propojují se stávající architekturou, s firemní identitou, datovými sklady, cloudovými službami, CI/CD pipeline, monitorovacími nástroji nebo interními aplikacemi.
Současně přibývají další vrstvy. Repozitáře modelů, služby pro jejich trénování a hodnocení, vektorové databáze, API pro přístup k modelům nebo nástroje pro orchestraci AI workflow. Každá z těchto komponent má vlastní konfiguraci, oprávnění i komunikační rozhraní. Bez centrální správy se prostředí rychle stává nepřehledným.
Nejslabší místo nebývá tam, kde ho většina hledá
Diskuse kolem AI se často soustředí na ochranu dat, kvalitu modelů nebo riziko halucinací. Incident OpenAI ukázal jiný scénář.
Útočník nezneužil model ani jeho výstupy. Cílem byla infrastruktura využívaná při benchmarkingu modelů na platformě Hugging Face. Benchmarking slouží k porovnávání modelů, měření jejich výkonu a ověřování výsledků před nasazením. I tato část vývojového řetězce pracuje s přístupovými údaji, automatizovanými procesy a externími službami. Pokud některá z těchto vrstev selže, může ohrozit celý ekosystém, přestože samotný model funguje správně.
Stejný princip platí i v podnikovém prostředí.
Bezpečnost AI stojí na stejných principech jako zbytek IT
AI nepřináší úplně nové bezpečnostní disciplíny, ale mění jejich rozsah.
Organizace musí zabezpečit větší počet identit, API, integračních vazeb a služeb třetích stran než u tradičních aplikací. Význam získává správa strojových identit, ochrana přístupových tokenů nebo kontrola komunikace mezi jednotlivými systémy. Jde o známé bezpečnostní principy, které se u AI uplatňují ve větším měřítku a ve složitější architektuře.
Složitější infrastruktura vyžaduje lepší správu
Řada organizací zavádí AI do prostředí, které vznikalo mnoho let. Vedle původních aplikací přibývají nové cloudové služby, AI platformy, integrační vrstvy a automatizované procesy. Každá nová služba přináší další účty, přístupové klíče, síťovou komunikaci nebo závislost na externím dodavateli.
Pokud chybí jednotná správa identit, přehled o integračních vazbách nebo standardizovaný způsob konfigurace jednotlivých systémů, roste složitost celého prostředí. V takové situaci bývá výrazně obtížnější odhalit bezpečnostní incident, určit jeho rozsah nebo rychle omezit jeho šíření.
Jak k tomu přistupujeme v Devcity
Se stabilizací a modernizací IT infrastruktury máme zkušenosti z projektů pro české i zahraniční organizace. Bez ohledu na jejich velikost se opakují podobné výzvy, složitá architektura, rostoucí počet integračních vazeb nebo nejednotná správa identit a přístupů.
Při stabilizaci infrastruktury se proto zaměřujeme na oblasti, které mají dlouhodobý vliv na bezpečnost i správu prostředí. Patří mezi ně řízení identit a oprávnění, standardizace konfigurací, monitoring, řízení změn nebo přehled o závislostech mezi systémy.
Výsledkem není jen lépe uspořádaná infrastruktura. Organizace získává prostředí, ve kterém lze bezpečněji zavádět nové technologie a rychleji reagovat na změny i bezpečnostní incidenty.
