V éře předškolního vzdělávání byly důležité internetové textové zprávy. Primárně byste chtěli velkou, rozmanitou a vysoce kvalitní sbírku internetových dokumentů, ze kterých byste se mohli učit. V době řízeného dolaďování to byly rozhovory. Smluvní pracovníci jsou najímáni, aby vytvářeli odpovědi na otázky, trochu jako to, co byste viděli na Stack Overflow / Quora atd., ale zaměřené na případy použití LLM. Ani jedno z výše uvedených nezmizí (imo), ale v této éře zpětnovazebního učení je to nyní prostředí. Na rozdíl od výše uvedeného dávají LLM příležitost skutečně interagovat - podnikat akce, vidět výsledky atd. To znamená, že můžete doufat, že se vám podaří mnohem lépe než napodobení statistického odborníka. A lze je použít jak pro trénování modelů, tak pro jejich vyhodnocování. Ale stejně jako dříve, jádrem problému je nyní potřeba velké, rozmanité a vysoce kvalitní sady prostředí, jako cvičení, proti kterým by LLM mohl cvičit. V některých ohledech mi to připomíná úplně první projekt OpenAI (tělocvična), což byl přesně rámec, který doufal, že vytvoří velkou sbírku prostředí ve stejném schématu, ale to bylo dávno před LLM. Takže prostředí byla v té době jednoduchými akademickými kontrolními úkoly, jako cartpole, ATARI atd. Centrum @PrimeIntellect environments (a úložiště "verifiers" na GitHubu) vytváří modernizovanou verzi specificky zaměřenou na LLM a je to skvělé úsilí/nápad. Navrhl jsem, aby někdo postavil něco podobného na začátku tohoto roku: Prostředí mají tu vlastnost, že jakmile je kostra rámce na svém místě, v principu se komunita / průmysl může paralelizovat v mnoha různých doménách, což je vzrušující. Závěrečná myšlenka - osobně a dlouhodobě, jsem optimistický ohledně prostředí a agentických interakcí, ale jsem medvědí konkrétně ohledně posilovaného učení. Myslím si, že funkce odměny jsou super sus a myslím si, že lidé nepoužívají RL k učení (možná to dělají pro některé motorické úkoly atd., ale ne pro intelektuální úkoly na řešení problémů). Lidé používají různá paradigmata učení, která jsou výrazně výkonnější a efektivnější pro vzorkování a která ještě nebyla řádně vynalezena a škálována, i když existují rané náčrty a nápady (jako jeden příklad, myšlenka "systémového promptního učení", přesunutí aktualizace na tokeny/kontexty, nikoli na váhy a volitelně destilace na váhy jako samostatný proces, trochu jako spánek).

NOVĚ: ZDR 🕵️ ♂️ jedním kliknutím Ujistěte se, že jsou vaše výzvy odesílány pouze poskytovatelům, kteří podporují nulové uchovávání dat. Jak to funguje 👇

Re: FOCIL: Všichni víme, JAK blockchainy fungují, ale někteří z nás zapomínají, PROČ vůbec existují. Takže opravdu rychlé osvěžení: Blockchainy NEEXISTUJÍ proto, aby sloužily těžařům/validátorům/stavitelům. Minery/validátory/buildery existují, aby sloužily uživatelům. JEDINOU a JEDINOU službou, kterou těžaři/validátoři/stavitelé poskytují uživatelům, je ODOLNOST CENZURY. JEDINÝM důvodem, proč těžaři/validátoři/stavitelé vůbec existují, je poskytnout koncovým uživatelům odolnost vůči cenzuře. Dobrý konsensuální návrh protokolu se tedy snaží maximalizovat odolnost uživatele vůči cenzuře a zároveň minimalizovat náklady (platby těžařům/validátorům/tvůrcům). Na blahobytu těžařů/validátorů/stavitelů záleží POUZE do té míry, do jaké jsou koncoví uživatelé obsluhováni s maximální odolností vůči cenzuře. FOCIL je tedy OBROVSKÝM krokem vpřed pro konsensuální protokoly, protože pomáhá eliminovat těžaře/validátory/stavitele, kteří přijímají platby (ve formě poplatků, MEV a blokových odměn), aniž by poskytovali JEDNU službu, která se od nich očekává: odolnost vůči cenzuře.