Národný inštitút pre štandardy a technológie (NIST), agentúra amerického ministerstva obchodu, ktorá vyvíja a testuje technológiu pre americkú vládu, spoločnosti a širšiu verejnosť, opätovne vydala testovacie zariadenie určené na meranie škodlivých útokov – najmä útokov, ktoré „otravujú“. Tréningové údaje modelu AI – môžu znížiť výkon systému AI.
Volaný Dioptrie (po klasický astronomický a zememeračský prístroj), modulárny, open source webový nástroj, prvý prepustený v roku 2022 sa snaží pomôcť spoločnostiam školiacim modely AI – a ľuďom, ktorí tieto modely používajú – posúdiť, analyzovať a sledovať riziká AI. Dioptra môže byť použitá na porovnávanie a výskum modelov, hovorí NIST, ako aj na poskytovanie spoločnej platformy na vystavenie modelov simulovaným hrozbám v prostredí „red-teamingu“.
„Testovanie účinkov nepriateľských útokov na modely strojového učenia je jedným z cieľov spoločnosti Dioptra,“ NIST napísal v tlačovej správe. „Softvér s otvoreným zdrojovým kódom, ako napríklad generovanie dieťaťa, ktoré je k dispozícii na bezplatné stiahnutie, by mohol pomôcť komunite, vrátane vládnych agentúr a malých a stredných podnikov, vykonávať hodnotenia s cieľom posúdiť tvrdenia vývojárov AI o výkone ich systémov.“
Dioptra debutovala spolu s dokumentmi od NIST a NIST, ktoré boli nedávno vytvorené Inštitút bezpečnosti AI ktoré stanovujú spôsoby, ako zmierniť niektoré nebezpečenstvá AI, napríklad ako sa dá zneužiť na generovanie nekonsenzuálna pornografia. Nasleduje po spustení britského inštitútu pre bezpečnosť AI Skontrolujte, súpravu nástrojov podobne zameranú na hodnotenie schopností modelov a celkovej bezpečnosti modelov. USA a Spojené kráľovstvo majú trvalé partnerstvo na spoločnom vývoji pokročilého testovania modelov AI, ktoré bolo oznámené v Spojenom kráľovstve AI Safety Summit v Bletchley Parku v novembri minulého roka.
Dioptra je tiež produktom o Výkonný príkaz prezidenta Joea Bidena (EO) o AIktorý nariaďuje (okrem iného), že NIST pomáha s testovaním systému AI. EO tiež stanovuje normy pre bezpečnosť a ochranu AI vrátane požiadaviek na spoločnosti vyvíjajúce modely (napr Apple) informovať federálnu vládu a zdieľať výsledky všetkých bezpečnostných testov pred ich nasadením pre verejnosť.
Ako sme už písali, benchmarky AI sú ťažké — v neposlednom rade preto, že najsofistikovanejšie modely AI sú dnes čierne skrinky, ktorých infraštruktúru, tréningové dáta a ďalšie kľúčové detaily držia pod pokrievkou spoločnosti, ktoré ich vytvárajú. Správa z tohto mesiaca od Ada Lovelace Institute, britského neziskového výskumného inštitútu, ktorý študuje AI, zistila, že samotné hodnotenia nestačia na určenie skutočnej bezpečnosti modelu AI čiastočne preto, že súčasné pravidlá umožňujú predajcom AI. selektívne vybrať, ktoré hodnotenia sa majú vykonať.
NIST netvrdí, že Dioptra dokáže modelky úplne zbaviť rizika. Ale agentúra robí navrhuje, aby spoločnosť Dioptra mohla objasniť, aké druhy útokov môžu znížiť efektívnosť systému AI a kvantifikovať tento vplyv na výkon.
V zásadnom obmedzení však Dioptra funguje len po vybalení na modeloch, ktoré je možné stiahnuť a použiť lokálne, ako napríklad Meta. rozširujúca sa rodina lám. Modely kryté za API, ako napríklad OpenAI GPT-4osú zakázané — aspoň zatiaľ.
