Eksplozja wykorzystania AI od 2023 roku jest bezprecedensowa. Pod względem tempa adopcji sztuczna inteligencja rozwija się szybciej niż chmura obliczeniowa, szybciej niż urządzenia mobilne, a z pewnością szybciej niż rozwijał się Internet. Firma badawcza Gartner przewiduje, że w tym roku 80% przedsiębiorstw wdroży rozwiązania AI wskazuje Donnchadh Casey, VP, AI Security w F5.
Gdy przyjrzymy się sposobowi, w jaki organizacje wdrażają AI, można wyróżnić cztery poziomy dojrzałości:
- Kategoria 1 obejmuje AI ogólnego przeznaczenia i narzędzia zwiększające produktywność – mowa o pracownikach korzystających z ChatGPT, Gemini, Copilota itp.
- Kategoria 2 to wewnętrzne zastosowania AI, np. organizacje budujące własne chatboty dla działów HR lub IT.
- Kategoria 3 dotyczy zastosowań zewnętrznych, takich jak publicznie dostępne aplikacje GenAI, np. chatboty do obsługi klienta.
- Kategoria 4 obejmuje przepływy pracy oparte na agentach AI (agentic workflows), czyli złożone systemy zdolne do samodzielnego wykonywania działań w imieniu użytkowników.
Kategorie te często rozwijają się równolegle, a nie sekwencyjnie. Jednak to właśnie w trzech ostatnich obszarach bezpieczeństwo staje się szczególnie istotne. Wynika to z faktu, że organizacje budują coraz bardziej złożone rozwiązania w oparciu o niedeterministyczne modele AI, tworząc podatności, których tradycyjne firewalle po prostu nie są w stanie dostrzec.
Bezpieczeństwo zawsze pozostaje jednym z priorytetów biznesu, jednak w przypadku AI problem wygląda inaczej – wiele organizacji wciąż nie ma pełnej widoczności tego rodzaju zagrożeń. Przez ostatnie dwie dekady specjaliści ds. bezpieczeństwa wdrażali i konfigurowali firewalle oraz zapory aplikacyjne (WAF), aby chronić sieci i systemy. Narzędzia te analizują jednak ruch sieciowy oraz aktywność użytkowników, podczas gdy ataki na systemy AI wykorzystują język naturalny – a rozmowy nie da się zabezpieczyć firewallem.
To dlatego 75% dyrektorów ds. bezpieczeństwa informacji (CISO) zgłasza incydenty związane z bezpieczeństwem AI – obecnie stosowane mechanizmy ochrony po prostu nie zostały zaprojektowane do wykrywania tego typu zagrożeń. Z tego samego powodu 91% organizacji odnotowało już próby ataków na swoją infrastrukturę AI, a aż 94% nadaje dziś priorytet testowaniu swoich systemów wykorzystujących sztuczną inteligencję.
Nowe kategorie ataków wykorzystujących AI
Nie brakuje przykładów pokazujących, jak AI zmienia krajobraz zagrożeń. Naruszenie bezpieczeństwa w firmie Asana zeszłego lata wynikało z błędu logicznego w mechanizm izolacji organizacji (tenant isolation) na serwerze MCP, który umożliwił ujawnienie danych pomiędzy organizacjami.
To klasyczny błąd występujący w środowiskach wielodzierżawnych, jednak w systemach opartych na LLM jest znacznie bardziej niebezpieczny, ponieważ wyciekające dane pojawiają się w formie płynnego, naturalnego języka, co sprawia, że ich wykrycie jest dużo trudniejsze.
Z kolei incydent w Lenovo odzwierciedlał inny rodzaj problemu – naruszenie granic zaufania. Atak typu prompt injection zmienił rolę chatbota Lenovo, a systemy backendowe bezwarunkowo ufały operacjom inicjowanym przez chatbota, nie weryfikując ich po stronie serwera. Problem nie polegał na tym, że model AI ignorował reguły, lecz na tym, że decyzje dotyczące autoryzacji powierzono samemu systemowi AI.
To jedynie dwa przykłady wpisujące się w znacznie szerszy katalog nowych zagrożeń. Organizacje nie mierzą się już wyłącznie z podatnościami w kodzie. Muszą stawiać czoła całkowicie nowym kategoriom ataków wymierzonych w systemy AI, na przykład:
- prompt injection, zarówno bezpośredni, jak i pośredni,
- zatruwanie danych (data poisoning) na etapie trenowania modeli,
- zaawansowane techniki jailbreakingu, takie jak ataki wykorzystujące język symboliczny,
- kompresja tokenów (token compression), w której napastnicy ukrywają złośliwe instrukcje w formatach czytelnych dla modeli AI, ale nie dla ludzi.
Tradycyjne mechanizmy bezpieczeństwa zostały zaprojektowane z myślą o analizie określonych wzorców i przewidywalnych danych wejściowych. Tymczasem prompt injection i inne ataki wykorzystujące język naturalny mają charakter semantyczny, co oznacza, że nie da się ich skutecznie wykrywać wyłącznie za pomocą klasycznych metod analizy. Nie są to pojedyncze błędy, lecz systemowe ryzyka biznesowe wynikające z nowych architektur opartych na AI.
Branża intensywnie pracuje nad klasyfikacją tego rodzaju podatności. Powstają już takie frameworki jak OWASP Top 10 for GenAI and Agentic Applications, MITRE ATLAS czy NIST AI Risk Management Framework. Nadal jednak nie istnieje powszechnie przyjęty katalog zagrożeń ani jednolity standard określający, jak w praktyce powinno wyglądać bezpieczne wykorzystanie AI.
Dotychczasowe podejście nie nadąża
Dla wielu organizacji presja związana z wdrażaniem AI jest dziś ogromna. Programiści wykorzystują AI do pisania kodu nawet dziesięć razy szybciej niż wcześniej. Organizacje dosłownie wdrażają nowe funkcje, a czasem nawet całe produkty, z dnia na dzień.
Jednocześnie przyspieszają również zmiany regulacyjne. Przykładowo unijny AI Act wprost wskazuje na konieczność prowadzenia testów adversarialnych dla systemów AI wysokiego ryzyka oraz modeli AI ogólnego przeznaczenia.
W praktyce oznacza to, że red-teaming – czyli testowanie systemów AI za pomocą symulowanych ataków – powinien być dziś traktowany jako jeden z podstawowych elementów strategii bezpieczeństwa AI. Musi on jednak uwzględniać rzeczywiste zagrożenia i wyzwania, z jakimi mierzą się współczesne systemy wykorzystujące sztuczną inteligencję.
Zespoły bezpieczeństwa muszą dziś nadążać za zmianami zachodzącymi w tempie wyznaczanym przez maszyny. Trudno jednak wyobrazić sobie skuteczną ochronę systemów AI opartą wyłącznie na ręcznym testowaniu promptów w oknie czatu.
To trochę tak, jakby próbować zatrzymać tsunami za pomocą wiadra. Takie podejście po prostu nie ma szans się sprawdzić. Tempo zmian jest zbyt duże, a powierzchnia ataku związana z AI fundamentalnie różni się od tej, z którą organizacje mierzyły się dotychczas. Tradycyjne metody bezpieczeństwa zwyczajnie za nią nie nadążają.
Coraz wyraźniej widać, że tradycyjny red-teaming nie wystarcza. AI red-teaming staje się niezbędnym narzędziem pozwalającym pogodzić szybkość wdrażania innowacji z zachowaniem kontroli nad bezpieczeństwem. Na podstawie doświadczeń związanych z zabezpieczaniem systemów AI można wskazać cztery kluczowe obszary wymagające szczególnej uwagi:
Ewolucja zagrożeń – ataki na systemy AI rozwijają się szybciej niż statyczne zestawy testów. Gdy tylko mechanizmy kontroli zostaną zautomatyzowane, zmianie ulega model AI lub sama technika ataku, a zespoły bezpieczeństwa zaczynają skupiać się na utrzymywaniu testów zamiast na realnym ograniczaniu ryzyka.
Złożoność agentów AI – agenci AI nie są systemami deterministycznymi. Gdy dodamy do nich mechanizmy wyszukiwania informacji (retrieval), narzędzia oraz pamięć, liczba możliwych kombinacji staje się praktycznie nieograniczona. Nie testujemy już wyłącznie kodu – testujemy rozmowę, która zmienia się wraz z kontekstem.
Automatyzacja i skala – ręczny red-teaming nie sprawdza się w przypadku takich systemów. Przetestowanie jednego chatbota może być jeszcze wykonalne, ale setek czy tysięcy już nie. Nie można polegać na ludziach, którzy po każdej aktualizacji modelu lub promptu systemowego będą odtwarzać tysiące potencjalnie złośliwych scenariuszy rozmów.
Raportowanie umożliwiające działanie – wyniki testów muszą być możliwe do odtworzenia i wykorzystania w praktyce. Stwierdzenie „bot zachował się niewłaściwie” nie wystarczy. Inżynierowie potrzebują informacji o parametrach rozmowy i warunkach, które doprowadziły do wystąpienia problemu. Bez tego proces wprowadzania poprawek i działań naprawczych szybko utknie w martwym punkcie.
Zapewnienie, że systemy AI zachowują się zgodnie z założeniami – nawet pod presją ataku
Rosnące znaczenie AI red-teamingu wynika właśnie z tego rodzaju wyzwań. Dobrym przykładem jest jeden z naszych klientów – globalny bank działający w silnie regulowanym środowisku.
Gdy rozpoczęliśmy współpracę, organizacja posiadała ponad 50 przypadków użycia AI w obszarach HR, zakupów oraz cyberbezpieczeństwa, jednak nie mogła wdrożyć żadnego z nich do produkcji, ponieważ nie była w stanie wykazać ich bezpieczeństwa przed wewnętrznymi audytorami.
AI red-teaming dostarczył bankowi konkretnych wyników i danych, które pozwoliły ocenić rzeczywiste zachowanie systemów AI – wskazując potencjalne miejsca wycieku danych, możliwości nadużywania promptów oraz obszary, w których zabezpieczenia nie działały zgodnie z założeniami.
Klient wykorzystuje obecnie wyniki red-teamingu wzmacniania swoich zabezpieczeń poprzez wdrażanie dodatkowych, dostosowanych do własnych potrzeb mechanizmów ochrony. Takie podejście pozwala rozwijać wykorzystanie AI w całej organizacji przy jednoczesnym zachowaniu wysokiego poziomu bezpieczeństwa i skutecznego zarządzania ryzykiem.
W sektorze publicznym sytuacja wygląda nieco inaczej – testowanie przestaje być dobrowolne, a staje się obowiązkowe. Wytyczne instytucji takich jak NIST czy CISA wymagają między innymi prowadzenia testów odpornościowych (adversarial stress tests) w celu identyfikacji krytycznych zagrożeń, takich jak wykorzystanie danych biologicznych do szkodliwych celów.
W tym przypadku AI red-teaming nie służy wyłącznie ograniczaniu ryzyka. Chodzi również o utrzymanie zdolności operacyjnych oraz ciągłości działania instytucji.
Innymi słowy, niezależnie od tego, czy chronimy dane klientów, czy usługi publiczne, potrzeba pozostaje taka sama – ciągłe, oparte na dowodach potwierdzanie, że systemy AI działają zgodnie z założeniami, nawet wtedy, gdy ktoś aktywnie próbuje obejść ich zabezpieczenia.
Wdrażanie AI klasy enterprise z większą pewnością
Organizacje wdrażające AI potrzebują zautomatyzowanych testów sprawdzających odporność systemów na znane podatności już na etapie budowania podstawowego poziomu bezpieczeństwa.
Kontekst stał się nową powierzchnią ataku. Statyczne mechanizmy obronne nie radzą sobie z atakami wymierzonymi w agentów AI, dlatego organizacje muszą testować nie tylko same modele, ale również procesy, aplikacje i przepływy pracy, w których są one wykorzystywane.
Zgodność z regulacjami może stać się przewagą konkurencyjną. Dzięki odpowiedniemu raportowaniu bezpieczeństwo przestaje być postrzegane jako bariera, a staje się elementem wspierającym szybsze i bardziej odpowiedzialne wdrażanie rozwiązań AI.
W takim świecie 80% przedsiębiorstw planujących wdrożenie AI w tym roku może robić to z większą pewnością i lepszym zrozumieniem ryzyka – niezależnie od poziomu zaawansowania swoich działań.