Philip Clark (@PJClark), partner ve společnosti Thrive Capital (@ThriveCapital), čerpá z investic do OpenAI, kurzorů, fyzické inteligence a svého polovodičového zázemí, aby představil tři hlavní poznatky o stavu vývoje AI: 1.) Průlomy AI nejsou lineární. Přicházejí v architektonických vlnách, stejně jako křemík. Philipova analogie s polovodiči přetváří pokrok AI jako sérii hardwarových paradigmatických změn. Když jedna cesta dosáhne svého limitu (jednojádrová → vícejádrová; předtrénování → po tréninku), objeví se nová architektura. AI se nevyvíjí postupným laděním... Postupuje skrze strukturální reinvence. 2.) Posilované učení je další architektonická éra (prozatím) Philip chápe posilované učení jako nástupce post-tréninku: nový základ, nikoli optimalizaci. Ale zásadně zdůrazňuje, že to nebude poslední. Stejně jako hardware neustále přeskakoval z jednojádrového na vícejádrové a pak na GPU, AI zažije několik vln paradigmat, z nichž každá odemkne nové výkonnostní stropy. Posilované učení je prostě další vlna, ne ta poslední. 3.) OpenAI je nevýhodou modelů... je to jeho schopnost neustále objevovat další paradigma. Philip tvrdí, že hlavní výhodou je výše než produkt: každý významný architektonický průlom ve velkých modelech pochází z OpenAI. Jejich obhajitelnost spočívá v opakovaném vymýšlení "další věci" a současném zprovozňování té předchozí... vzácná kombinace v jakémkoli odvětví, natož v takovém definovaném nespojitými skoky. . . . Molly: "Jedním ze sponzorů, který hrdě sponzoruje Sourcery, je @turingcom, a tak jsem získala zkušenosti s AI výzkumem – AI výzkumným akcelerátorem [s CEO jsme mluvili @jonsidd]. Pomáhají s modely. A právě teď si všímají výrazného posunu v posledním čtvrtletí či dvou od imitovaných dat a syntetických dat k posilovanému učení. Takže mě zajímá, jak to vnímáte na technické stránce a také na aplikační stránce?" Philip: "Myslím, že AI je v jistém smyslu trochu jako polovodiče – pokud se mohu vrátit k polovodičům, k tomu velkému měřítku. V tom smyslu, že je tu mnoho, mnoho vln, protože se snažíme dosáhnout stále lepšího výkonu. Víš, u polovodičů jsme dříve měli jednojádrové polovodiče. Pak jsme už nemohli z jednoho jádra dostat nic víc, a tak jsme přešli na vícejádrové. A pak jsme přešli na GPU. A myslím, že vidíme něco velmi podobného u AI, kdy jsme začali s předtréninkem už v éře GPT-1, GPT-2, GPT-3. To nás přivedlo k GPT-4. Pak jsme začali používat spoustu technik po tréninku pro ChatGPT – doladění pod dohledem, posilované učení s lidskou zpětnou vazbou. To umožnilo modelům být méně mimozemskými inteligencemi a více užitečnými asistenty. A nyní, když bylo mnoho snadno dostupných výsledků z těchto úspěchů vytlačeno (i když je pravděpodobně stále hodně co dělat), posilované učení je dalším velkým posunem paradigmatu v AI a kam směřuje mnoho zdrojů....