Home Umela inteligencia Ako Kapa používa LLM, aby pomohla spoločnostiam spoľahlivo odpovedať na technické otázky používateľov

Ako Kapa používa LLM, aby pomohla spoločnostiam spoľahlivo odpovedať na technické otázky používateľov

by
The Kapa team

Generatívna umelá inteligencia a veľké jazykové modely (LLM) boli v posledných rokoch v móde a prekonali tradičné online vyhľadávanie prostredníctvom ako ChatGPT pri zlepšovaní zákaznícku podporu, generovanie obsahu, preklad a ďalšie. Teraz jeden začínajúci startup používa LLM na vytváranie asistentov AI schopných konkrétne odpovedať na zložité otázky pre vývojárov, koncových používateľov softvéru a zamestnancov – je to ako ChatGPT, ale pre technické produkty.

Spoločnosť bola založená vo februári minulého roku, Kapa.ai je absolventom Y Combinator’s (YC) Program na leto 2023a už si nazhromaždil pomerne pôsobivý zoznam zákazníkov, medzi ktoré patrí OpenAI, Docker, Reddit, Monday.com a Mapbox od výrobcu ChatGPT. Nie je to zlé na 18-mesačnú firmu.

„Náš počiatočný koncept vznikol po tom, čo sa niekoľko priateľov, ktorí prevádzkovali technologické spoločnosti, obrátilo na rovnaký problém, a potom, čo sme postavili prvý prototyp Kapa.ai, ktorý im tento problém vyriešil, sme do týždňa pristáli na našom prvom platenom pilote,“ CEO a spol. -zakladateľ Emil Sorensen povedal TechCrunch. „To viedlo k organickému rastu prostredníctvom ústneho vyjadrenia – naši zákazníci sa stali našimi najväčšími zástancami.“

Aby Kapa.ai nadviazala na túto skorú trakciu, teraz získala 3,2 milióna dolárov v počiatočnom kole financovania vedenom Inicializovaný kapitál.

Získanie technického

V najširšom zmysle, spoločnosti vkladajú svoju technickú dokumentáciu do Kapa.ai, ktorá potom slúži ako rozhranie, pomocou ktorého môžu vývojári a koncoví používatelia klásť otázky. Docker napr. nedávno spustený nový asistent dokumentácie s názvom Docker Docs AI, ktorý poskytuje okamžité odpovede na otázky súvisiace s Dockerom zo stránok dokumentácie – je vytvorený pomocou Kapa.ai.

Kapa.ai na Dockeri. Poďakovanie za obrázok:Kapa.ai

Kapa.ai však možno použiť na nespočetné množstvo prípadov použitia, ako je podpora zákazníkov, zapojenie komunity a ako asistent na pracovisku, ktorý pomáha zamestnancom vyhľadávať vedomostnú základňu ich spoločnosti.

Kapa.ai je pod kapotou založený na niekoľkých LLM od rôznych poskytovateľov a opiera sa o rámec strojového učenia s názvom Retrieval Augmented Generation (RAG), ktorá zvyšuje výkon LLM tým, že im umožňuje jednoducho čerpať z relevantných externých zdrojov údajov a poskytovať tak bohatšie odpovede.

„Sme bezohľadní na modely – spolupracujeme s viacerými poskytovateľmi vrátane použitia našich vlastných modelov, aby sme pre každý konkrétny prípad použitia použili najvýkonnejšie techniky zásobníka a vyhľadávania,“ povedal Sorensen.

Stojí za zmienku, že už existuje množstvo podobných nástrojov, vrátane startupov podporovaných podnikmi, ako napr. Veľa a Kórea.aiktoré sú v podstate o privedení konverzačnej AI do podnikových znalostných báz. Kapa.ai zapadá do tohto vedra, ale spoločnosť tvrdí, že jej hlavným rozdielom je, že sa do značnej miery zameriava skôr na externých používateľov než na zamestnancov – a to malo veľký vplyv na jej dizajn.

„Pri externom nasadení asistenta AI pre koncových používateľov sa úroveň kontroly desaťnásobne zvýši,“ povedal Sorensen. „Presnosť je jediná vec, na ktorej záleží, pretože spoločnosti sa obávajú, že umelá inteligencia zavádza zákazníkov, a každý sa pokúšal mať halucinácie ChatGPT alebo Clauda. Pár zlých odpovedí a firma okamžite stratí dôveru vo váš systém. Takže na tom nám záleží.“

Presnosť

Toto zameranie na poskytovanie presných odpovedí na technickú dokumentáciu s minimálnymi halucináciami zdôrazňuje, že Kapa.ai je odlišný druh LLM zvierat – je vytvorený pre oveľa užší prípad použitia.

„Optimalizácia systému na presnosť prirodzene prichádza s kompromismi, pretože to znamená, že musíme navrhnúť systém tak, aby bol menej kreatívny, než aký si môžu dovoliť iné systémy LLM,“ povedal Sorensen. „Toto má zaručiť, že odpovede budú generované iba z celého obsahu, ktorý poskytujú.“

Potom je tu chúlostivá otázka ochrany osobných údajov – jedna z nich veľké odstrašujúce prostriedky pre podniky to môže chcieť prijať generatívnu AI, ale obávajú sa vystavovania citlivých údajov systémom tretích strán. Ako taký, Kapa.ai zahŕňa Zisťovanie a maskovanie údajov PII (osobne identifikovateľné informácie), ktoré určitým spôsobom zaisťuje, že súkromné ​​informácie nebudú uložené ani zdieľané.

To zahŕňa skenovanie PII v reálnom čase: Keď Kapa.ai prijme správu, vyhľadá sa v nej údaje PII, a ak sa zistia nejaké osobné údaje, správa sa odmietne a neuloží. Používatelia môžu tiež nakonfigurovať Kapa.ai tak, aby všetky údaje PII zistené v dokumente boli anonymizované.

Firmy si samozrejme môžu niečo podobné Kapa.ai zostaviť sami pomocou nástrojov tretích strán ako napr Služba OpenAI Azure alebo Deepset’s Haystack. Je to však časovo a zdrojovo náročné úsilie, najmä ak stačí klepnúť na miniaplikáciu webovej stránky Kapa, ​​nasadiť jeho bota pre Slack alebo Zendesk alebo použiť jeho API, ktoré umožňuje spoločnostiam trochu si veci prispôsobiť pomocou vlastných rozhraní.

„Väčšina ľudí, s ktorými pracujeme, nechce robiť všetku inžiniersku prácu alebo na to nevyhnutne nemajú vo svojich tímoch zdroje AI,“ povedal Sorensen. „Chcú presný a spoľahlivý nástroj umelej inteligencie, ktorému môžu dostatočne dôverovať, aby ho mohli vystaviť priamo zákazníkom, a ktorý už bol optimalizovaný pre ich prípad použitia pri odpovedaní na otázky o technických produktoch.“

Pokiaľ ide o ceny, Kapa.ai hovorí, že používa model predplatného SaaS, ktorý ponúka odstupňované ceny na základe zložitosti nasadenia a používania – aj keď tieto ceny nezverejňuje.

Spoločnosť má vzdialený deväťčlenný tím rozmiestnený po celom svete v dvoch hlavných centrách v Kodani, kde sídli Sorensen, a v San Franciscu.

Okrem hlavného sponzora Initialized Capital sa v počiatočnom kole Kapa.ai zúčastnil Y Combinator a množstvo anjelských investorov vrátane zakladateľa Docker Solomona Hykesa, profesora zo Stanfordu a výskumníka AI. Milá Keelaa zakladateľ spoločnosti Replit Amjad Masad.

Source Link

Related Posts

Leave a Comment