Evolúcia generatívna AI nielen pretvára našu interakciu a skúsenosti s výpočtovými zariadeniami, ale tiež redefinuje jadro výpočtovej techniky. Jedným z kľúčových hnacích síl transformácie je potreba prevádzkovať generatívnu AI na zariadeniach s obmedzenými výpočtovými zdrojmi. Tento článok sa zaoberá výzvami, ktoré to predstavuje a ako neurónové procesorové jednotky (NPU) sa objavujú na ich riešenie. Okrem toho článok predstavuje niektoré z najnovších procesorov NPU, ktoré vedú v tejto oblasti.
Výzvy generatívnej infraštruktúry AI na zariadení
Generatívna AI, hnacia sila za syntézou obrazu, generovaním textu a skladbou hudby, vyžaduje značné výpočtové zdroje. Tieto požiadavky boli zvyčajne splnené využitím rozsiahlych možností cloudových platforiem. Aj keď je tento prístup efektívny, prichádza s vlastným súborom výziev pre generatívnu AI na zariadení, vrátane spoliehania sa na neustále internetové pripojenie a centralizovanú infraštruktúru. Táto závislosť prináša latenciu, bezpečnostné slabiny a zvýšenú spotrebu energie.
Chrbtica cloud-based Infraštruktúra AI sa vo veľkej miere spolieha na centrálne procesorové jednotky (CPU) a jednotky grafického spracovania (GPU) zvládnuť výpočtové požiadavky generatívnej AI. Pri aplikácii na generatívnu AI na zariadení však tieto procesory narážajú na značné prekážky. CPU sú navrhnuté pre všeobecné úlohy a nemajú špecializovanú architektúru potrebnú na efektívne a nízkoenergetické vykonávanie generatívnych pracovných zaťažení AI. Ich obmedzené možnosti paralelného spracovania majú za následok zníženú priepustnosť, zvýšenú latenciu a vyššiu spotrebu energie, vďaka čomu sú menej ideálne pre AI na zariadení. Na druhej strane, zatiaľ čo GPU môžu vynikať v paralelnom spracovaní, sú primárne určené pre úlohy grafického spracovania. Na efektívne vykonávanie generatívnych úloh AI vyžadujú GPU špecializované integrované obvody, ktoré spotrebúvajú vysoký výkon a generujú značné teplo. Navyše ich veľká fyzická veľkosť vytvára prekážky pre ich použitie v kompaktných aplikáciách na zariadení.
Vznik neurónových procesorových jednotiek (NPU)
V reakcii na vyššie uvedené výzvy, neurónové procesorové jednotky (NPU) sa objavujú ako transformačná technológia na implementáciu generatívnej AI do zariadení. Architektúra NPU je primárne inšpirovaná štruktúrou a funkciou ľudského mozgu, najmä tým, ako neuróny a synapsie spolupracujú pri spracovaní informácií. V NPU fungujú umelé neuróny ako základné jednotky, ktoré zrkadlia biologické neuróny prijímaním vstupov, ich spracovaním a produkciou výstupov. Tieto neuróny sú vzájomne prepojené prostredníctvom umelých synapsií, ktoré prenášajú signály medzi neurónmi s rôznou silou, ktoré sa prispôsobujú počas procesu učenia. To napodobňuje proces synaptických zmien hmotnosti v mozgu. NPU sú organizované vo vrstvách; vstupné vrstvy, ktoré prijímajú nespracované údaje, skryté vrstvy, ktoré vykonávajú medzispracovanie, a výstupné vrstvy, ktoré generujú výsledky. Táto vrstvená štruktúra odráža viacstupňovú a paralelnú schopnosť mozgu spracovávať informácie. Keďže generatívna AI je tiež konštruovaná pomocou podobnej štruktúry umelých neurónových sietí, NPU sú vhodné na riadenie generatívnej pracovnej záťaže AI. Toto štrukturálne zarovnanie znižuje potrebu špecializovaných integrovaných obvodov, čo vedie ku kompaktnejším, energeticky efektívnejším, rýchlym a udržateľným riešeniam.
Riešenie rôznych výpočtových potrieb generatívnej AI
Generatívna umelá inteligencia zahŕňa širokú škálu úloh vrátane syntézy obrazu, generovania textu a kompozície hudby, pričom každá má svoj vlastný súbor jedinečných výpočtových požiadaviek. Napríklad syntéza obrazu sa vo veľkej miere spolieha na maticové operácie, zatiaľ čo generovanie textu zahŕňa sekvenčné spracovanie. Na efektívne uspokojenie týchto rôznorodých výpočtových potrieb sú často integrované neurónové procesorové jednotky (NPU). System-on-Chip (SoC) technológie popri CPU a GPU.
Každý z týchto procesorov ponúka odlišnú výpočtovú silu. CPU sú obzvlášť zručné v sekvenčnom riadení a bezprostrednosti, GPU vynikajú v streamovaní paralelných dát a NPU sú jemne vyladené pre základné operácie AI, ktoré sa zaoberajú skalárnou, vektorovou a tenzorovou matematikou. Využitím heterogénnej počítačovej architektúry môžu byť úlohy priradené procesorom na základe ich silných stránok a požiadaviek konkrétnej úlohy.
Jednotky NPU, ktoré sú optimalizované pre pracovné zaťaženie AI, môžu efektívne ukladať generatívne úlohy AI z hlavného CPU. Toto odľahčenie nielen zaisťuje rýchle a energeticky efektívne operácie, ale tiež urýchľuje úlohy odvodenia AI, čo umožňuje plynulejšie fungovanie generatívnych modelov AI na zariadení. Keďže NPU zvládajú úlohy súvisiace s AI, CPU a GPU môžu voľne prideľovať zdroje iným funkciám, čím sa zvyšuje celkový výkon aplikácie pri zachovaní tepelnej účinnosti.
Príklady NPU v reálnom svete
Pokrok NPU naberá na obrátkach. Tu je niekoľko príkladov NPU v reálnom svete:
- Hexagon NPU od Qualcommu je špeciálne navrhnutý na urýchlenie úloh inferencie AI na zariadeniach s nízkou spotrebou a nízkymi zdrojmi. Je navrhnutý tak, aby zvládal generatívne úlohy AI, ako je generovanie textu, syntéza obrazu a spracovanie zvuku. Hexagon NPU je integrovaný do platforiem Snapdragon od Qualcommu a poskytuje efektívne spúšťanie modelov neurónových sietí na zariadeniach s Qualcomm produkty AI.
- Neurónový motor spoločnosti Apple je kľúčovou zložkou Čipy série A a série Mktorý poháňa rôzne funkcie poháňané AI, ako je Face ID, Siri a rozšírená realita (AR). Neural Engine urýchľuje úlohy, ako je rozpoznávanie tváre pre bezpečné Face ID, spracovanie prirodzeného jazyka (NLP) pre Siri a vylepšené sledovanie objektov a porozumenie scén pre aplikácie AR. Výrazne zlepšuje výkon úloh súvisiacich s AI na zariadeniach Apple a poskytuje bezproblémovú a efektívnu používateľskú skúsenosť.
- NPU od spoločnosti Samsung je špecializovaný procesor navrhnutý pre výpočty AI, ktorý dokáže zvládnuť tisíce výpočtov súčasne. Integrované do najnovších SoC Samsung Exynos, ktoré poháňajú mnohé telefóny Samsung, táto technológia NPU umožňuje nízkoenergetické, vysokorýchlostné generatívne výpočty AI. Technológia NPU od spoločnosti Samsung je integrovaná aj do vlajkových lodí televízorov, čo umožňuje inováciu zvuku poháňanú umelou inteligenciou a zlepšuje používateľský zážitok.
- Architektúra Da Vinci od Huawei slúži ako ich jadro Ascend AI procesor, navrhnutý na zvýšenie výpočtového výkonu AI. Architektúra využíva vysoko výkonný 3D výpočtový engine s kockou, vďaka čomu je výkonná pre pracovné zaťaženie AI.
Spodný riadok
Generatívna AI transformuje naše interakcie so zariadeniami a predefinuje výpočtovú techniku. Výzva spustenia generatívnej AI na zariadeniach s obmedzenými výpočtovými zdrojmi je značná a tradičné CPU a GPU často zaostávajú. Neurónové procesorové jednotky (NPU) ponúkajú sľubné riešenie so svojou špecializovanou architektúrou navrhnutou tak, aby spĺňala požiadavky generatívnej AI. Integráciou NPU do technológie System-on-Chip (SoC) spolu s CPU a GPU môžeme využiť silné stránky každého procesora, čo vedie k rýchlejšiemu, efektívnejšiemu a udržateľnejšiemu výkonu AI na zariadeniach. Ako sa NPU neustále vyvíjajú, sú nastavené na zlepšovanie schopností AI na zariadení, vďaka čomu budú aplikácie citlivejšie a energeticky efektívnejšie.
