Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
elvis
Budování s agenty AI @dair_ai • Předchozí: Meta AI, Galactica LLM, Elastic, PaperswithCode, PhD • Sdílím poznatky o tom, jak stavět s LLM a AI agenty ⬇️
Skvělý článek ukazuje, jak daleko můžete posunout jednoho agenta svými dovednostmi.
Před 10 h
Může jeden agent se schopnostmi nahradit systémy s více agenty?
Systémy s více agenty dobře fungují pro složité uvažování, kde specializovaní agenti spolupracují prostřednictvím explicitní komunikace.
To však znamená značné výpočetní náklady na tokeny a latenci.
Tento nový výzkum zkoumá, zda lze multiagentní systém zkompilovat do ekvivalentního systému s jedním agentem výměnou komunikace mezi agenty za výběr dovedností.
Odpověď: ano, ale s výhradou.
Předběžné experimenty ukazují, že přístupy s jedním agentem a knihovnami dovedností mohou výrazně snížit využití tokenů a latenci při zachování konkurenceschopné přesnosti v benchmarkech uvažování.
Zatím dobré.
Ale tady to začíná být zajímavé. Výzkumníci se ptali: Jak se výběr dovedností škáluje s růstem knihoven?
Na základě kognitivní vědy navrhují, že výběr dovedností LLM vykazuje omezenou kapacitu analogickou lidskému rozhodování. A našli zajímavý vzorec.
Místo postupného zhoršování zůstává přesnost výběru stabilní až do kritické velikosti knihovny, která pak prudce klesá. Ale vypadá to na fázový přechod, ne na plynulý úpadek. To odráží limity kapacit pozorované v lidském kognici.
Příčinou není jen velikost knihovny. Je to sémantická zmatenost mezi podobnými dovednostmi. Když jsou dovednosti příliš sémanticky podobné, model je nedokáže spolehlivě rozlišit.
To naznačuje, že hierarchická organizace, která lidem dlouhodobě pomáhá zvládat složitá rozhodnutí, může podobně prospět AI systémům. Počáteční výsledky hierarchického směrování tuto hypotézu podporují.
Jak budujeme stále schopnější agenty s rozšiřujícími se dovednostmi, je pochopení těchto základních limitů klíčové. Nemůžete pořád přidávat dovednosti donekonečna. Existuje práh, kdy se selekce rozpadá, a děje se to náhle, ne postupně.
Článek:
Naučte se vytvářet efektivní AI agenty v naší akademii:
20
Výzkumníci z MIT navrhují rekurzivní jazykové modely
O tom se dozvíte více v roce 2026.
Proč na tom záleží?
Co kdyby LLM mohly zpracovávat vstupy 100krát déle, než je jejich kontextové okno?
Délka kontextu je tvrdé omezení.
Můžete ji rozšířit architektonickými změnami, ale vždy existuje nějaký limit. Většina přístupů se snaží vměstnat více do okna nebo stlačit to, co nesedí.
Tento nový výzkum přistupuje k tomu jinak. Místo boje s limitem kontextu ho obejděte programovaně.
Rekurzivní jazykové modely (RLM) považují dlouhé výzvy za externí prostředí. Model může prompt prozkoumat, rozložit na sekce a rekurzivně se sám volat na úryvky. Je to škálování v době inference aplikované na délku kontextu.
Místo toho, aby bylo vše nucené projít pozorností najednou, nechte model strategicky rozdělit a zpracovávat informace napříč více rekurzivními voláními.
Výsledky jsou působivé. RLM úspěšně zvládají vstupy až o dva řády velikosti přesahující kontextová okna modelu. Model s 8K kontextem může efektivně zpracovat 800K tokeny.
Ale co je překvapivé: i u kratších promptů, které zapadají do kontextu, RLM výrazně překonávají základní LLM a běžné dlouhodobé kontextové rámce ve čtyřech různých úkolech.
To naznačuje něco zajímavého.
Možná není postupné soustředění na celý vstup vždy nejlepší strategie, i když je to technicky možné. Programová dekompozice a rekurzivní zpracování mohou být zásadně lepší pro určité úkoly.
Tento přístup dosahuje srovnatelných nebo nižších nákladů na dotaz ve srovnání s alternativními metodami s dlouhým kontextem.
Omezení délky kontextu omezují, co agenti mohou dělat. Zpracování celých kódových základů, dlouhých dokumentů nebo rozsáhlých konverzačních historií vyžaduje způsoby obcházení. RLM nabízejí obecnou inferenční strategii, která proměňuje limity kontextu v měkké omezení místo tvrdého.
57
Top
Hodnocení
Oblíbené