Veľké jazykové modely (LLM) vyškolení na obrovské množstvo údajov môžu urobiť tímy bezpečnostných operácií inteligentnejšími. LLM poskytujú priame návrhy a usmernenia týkajúce sa odozvy, auditov, správy držania tela a ďalších. Väčšina bezpečnostných tímov experimentuje alebo používa LLM na zníženie manuálnej námahy v pracovných tokoch. Môže sa to týkať bežných aj zložitých úloh.
Napríklad LLM môže požiadať zamestnanca prostredníctvom e-mailu, či chcel zdieľať dokument, ktorý bol vlastníctvom, a spracovať odpoveď s odporúčaním pre bezpečnostného odborníka. LLM môže byť tiež poverený prekladaním požiadaviek na hľadanie útokov dodávateľského reťazca na moduly s otvoreným zdrojovým kódom a vytváranie agentov zameraných na špecifické podmienky – noví prispievatelia do široko používaných knižníc, nesprávne vzory kódu – pričom každý agent je pripravený na túto konkrétnu podmienku.
Tieto výkonné systémy AI však nesú značné riziká, ktoré sú na rozdiel od iných rizík, ktorým čelia bezpečnostné tímy. Modely napájajúce bezpečnostné LLM môžu byť ohrozené rýchlym vstrekovaním alebo otravou dát. Nepretržité spätné väzby a algoritmy strojového učenia bez dostatočného ľudského vedenia môžu zlým aktérom umožniť skúmať ovládacie prvky a potom vyvolať zle cielené reakcie. LLM sú náchylné na halucinácie, dokonca aj v obmedzených doménach. Aj tí najlepší LLM si vymýšľajú veci, keď nepoznajú odpoveď.
Bezpečnostné procesy a politiky AI týkajúce sa používania a pracovných postupov LLM budú kritickejšie, pretože tieto systémy sa stanú bežnejšími v rámci operácií a výskumu kybernetickej bezpečnosti. Uistenie sa, že tieto procesy sa dodržiavajú, merajú a zohľadňujú v riadiacich systémoch, sa ukáže ako kľúčové pre zabezpečenie toho, aby CISO mohli poskytovať dostatočné pokrytie GRC (Governance, Risk and Compliance) na splnenie nových mandátov, ako je kybernetický rámec 2.0.
Obrovský prísľub LLM v kybernetickej bezpečnosti
CISO a ich tímy sa neustále snažia držať krok so stúpajúcim prílivom nových kybernetických útokov. Podľa spoločnosti Qualys počet CVE nahlásených v roku 2023 dosiahol a nový rekord 26 447. To je viac ako 5-násobok oproti roku 2013.
Táto výzva sa stala čoraz náročnejšou, pretože útočná plocha priemernej organizácie sa každým rokom zväčšuje. Tímy AppSec musia zabezpečiť a monitorovať oveľa viac softvérových aplikácií. Cloud computing, API, multi-cloud a virtualizačné technológie pridali ďalšiu zložitosť. S modernými nástrojmi a procesmi CI/CD môžu aplikačné tímy dodávať viac kódu, rýchlejšie a častejšie. Mikroslužby rozdelili monolitickú aplikáciu na početné rozhrania API a útočnú plochu a tiež urobili mnoho ďalších dier v globálnych firewalloch na komunikáciu s externými službami alebo zariadeniami zákazníkov.
Pokročilé LLM majú obrovský prísľub, že znížia pracovné zaťaženie tímov kybernetickej bezpečnosti a zlepšia ich schopnosti. Kódovacie nástroje poháňané AI široko prenikli do vývoja softvéru. Výskum Github zistil, že 92 % vývojárov používa alebo použilo nástroje AI na navrhovanie a dokončovanie kódu. Väčšina týchto nástrojov „kopilota“ má určité bezpečnostné funkcie. V skutočnosti sú programové disciplíny s relatívne binárnymi výstupmi, ako je kódovanie (kód prejde alebo neprejde jednotkovými testami), veľmi vhodné pre LLM. Okrem skenovania kódu pre vývoj softvéru a v procese CI/CD by AI mohla byť cenná pre tímy kybernetickej bezpečnosti niekoľkými ďalšími spôsobmi:
- Vylepšená analýza: LLM dokážu spracovať obrovské množstvo bezpečnostných údajov (protokoly, výstrahy, informácie o hrozbách) na identifikáciu vzorov a korelácií neviditeľných pre ľudí. Môžu to robiť v rôznych jazykoch, nepretržite a v mnohých dimenziách súčasne. Tým sa otvárajú nové príležitosti pre bezpečnostné tímy. LLM môžu spáliť hromadu upozornení takmer v reálnom čase a označiť tie, ktoré sú s najväčšou pravdepodobnosťou závažné. Prostredníctvom posilňovacieho učenia by sa analýza mala časom zlepšovať.
- automatizácia: LLM môžu automatizovať úlohy bezpečnostného tímu, ktoré zvyčajne vyžadujú konverzáciu tam a späť. Napríklad, keď bezpečnostný tím dostane IoC a potrebuje sa opýtať vlastníka koncového bodu, či sa skutočne prihlásil do zariadenia alebo či sa nachádza niekde mimo svojich bežných pracovných zón, LLM môže vykonať tieto jednoduché operácie a potom postupovať podľa s otázkami podľa potreby a odkazmi alebo pokynmi. Kedysi to bola interakcia, ktorú musel vykonať sám člen IT alebo bezpečnostného tímu. LLM môžu poskytnúť aj pokročilejšie funkcie. Microsoft Copilot for Security môže napríklad generovať správy o analýze incidentov a prekladať komplexný malvérový kód do opisov v prirodzenom jazyku.
- Neustále učenie a ladenie: Na rozdiel od predchádzajúcich systémov strojového učenia pre bezpečnostné politiky a porozumenie sa LLM môžu učiť za behu prijímaním ľudských hodnotení svojej reakcie a prelaďovaním na novších súboroch údajov, ktoré nemusia byť obsiahnuté v interných protokolových súboroch. V skutočnosti pomocou rovnakého základného základného modelu môžu byť LLM kybernetickej bezpečnosti vyladené pre rôzne tímy a ich potreby, pracovné postupy alebo regionálne alebo vertikálne špecifické úlohy. To tiež znamená, že celý systém môže byť okamžite rovnako inteligentný ako model, pričom zmeny sa rýchlo šíria vo všetkých rozhraniach.
Riziko LLM pre kybernetickú bezpečnosť
Ako nová technológia s krátkou históriou majú LLM vážne riziká. Horšie je, že pochopenie celého rozsahu týchto rizík je náročné, pretože výstupy LLM nie sú 100% predvídateľné alebo programové. Napríklad LLM môžu „halucinovať“ a vymýšľať odpovede alebo odpovedať na otázky nesprávne na základe imaginárnych údajov. Pred prijatím LLM pre prípady použitia kybernetickej bezpečnosti je potrebné zvážiť potenciálne riziká vrátane:
- Rýchla injekcia: Útočníci môžu vytvárať škodlivé výzvy špeciálne na vytváranie zavádzajúcich alebo škodlivých výstupov. Tento typ útoku môže využiť tendenciu LLM generovať obsah na základe výziev, ktoré dostane. V prípadoch použitia kybernetickej bezpečnosti môže byť rýchle vloženie najrizikovejšie ako forma útoku zasvätených osôb alebo útoku neoprávneného používateľa, ktorý používa výzvy na trvalú zmenu výstupov systému skreslením správania modelu. To by mohlo generovať nepresné alebo neplatné výstupy pre ostatných používateľov systému.
- Otrava údajmi: Tréningové údaje, na ktoré sa LLM spoliehajú, môžu byť zámerne poškodené, čo ohrozuje ich rozhodovanie. V nastaveniach kybernetickej bezpečnosti, kde organizácie pravdepodobne používajú modely vyškolené poskytovateľmi nástrojov, môže dôjsť k otrave údajov počas ladenia modelu pre konkrétneho zákazníka a prípad použitia. Rizikom by tu mohlo byť, že neoprávnený používateľ pridá zlé údaje – napríklad poškodené súbory denníka – aby podkopal tréningový proces. Oprávnený používateľ by to mohol urobiť aj neúmyselne. Výsledkom by boli výstupy LLM založené na zlých údajoch.
- Halucinácie: Ako už bolo spomenuté, LLM môžu generovať fakticky nesprávne, nelogické alebo dokonca zlomyseľné odpovede v dôsledku nepochopenia výziev alebo základných chýb v údajoch. V prípadoch použitia kybernetickej bezpečnosti môžu halucinácie viesť ku kritickým chybám, ktoré ochromia spravodajstvo o hrozbách, triedenie a nápravu zraniteľnosti a ďalšie. Keďže kybernetická bezpečnosť je kritickou činnosťou, LLM sa musia v týchto súvislostiach držať vyššieho štandardu riadenia a prevencie halucinácií.
Ako sa systémy AI stávajú schopnejšími, ich nasadenia informačnej bezpečnosti sa rýchlo rozširujú. Aby bolo jasné, mnohé spoločnosti zaoberajúce sa kybernetickou bezpečnosťou už dlho používajú porovnávanie vzorov a strojové učenie na dynamické filtrovanie. To, čo je nové v ére generatívnej AI, sú interaktívne LLM, ktoré poskytujú vrstvu inteligencie nad existujúcimi pracovnými postupmi a súbormi údajov, čo v ideálnom prípade zlepšuje efektivitu a zlepšuje schopnosti tímov kybernetickej bezpečnosti. Inými slovami, GenAI môže bezpečnostným inžinierom pomôcť urobiť viac s menším úsilím a rovnakými zdrojmi, čím sa dosiahne lepší výkon a zrýchlené procesy.
