Chamath: Dva pojmy, na které byste měli v AI dávat pozor, jsou Prefill a Decode "Jsou dva pojmy, o kterých si myslím, že v příštích letech uslyšíte hodně." "První termín je předvyplnění, další je dekódování." "Co jsou předvyplnění a dekódování, jsou dva velmi odlišné způsoby, jak modely myslí a jak model prochází procesem odpovídání na otázku, kterou mu položíte." "A když pošlete prompt AI, model ho zpracuje. Tomu se říká fáze čtení nebo předplnění." "Přečte celý váš zadání najednou. A pak provede spoustu výpočtů, spočítá všechny tyto vztahy mezi všemi slovy a uloží je do dočasné paměti." "Problém je, že je to opravdu omezené na výpočetní výpočty. Takže to vyžaduje obrovskou hrubou sílu. A GPU od Nvidie tady drtí na jedničku." "A jejich architektura je navržena pro masivní paralelní zpracování, což je dělá opravdu úžasnými v vstřebávání těchto dlouhých promptů." "Takže problém se jen zvětšuje, Nvidia úplně dominuje." "Ale další fáze, tato kritická fáze, fáze dekódování, je fáze psaní, že?" "Model začne generovat odpověď, položíte mu otázku a on odpoví, jeden token po druhém." "A pak, aby vybral další žeton, aby vybral další slovo, musí se podívat zpět na všechno, co už řekl, aby nehalucinoval." "Problém je, že je to neuvěřitelně omezené na šířku pásma paměti." "A v naší architektuře jsme už dávno dělali tato designová rozhodnutí od prvního dne." "A tak jsme zvolili velmi odlišný architektonický přístup, velmi konzervativní procesní technologii. Nepřekračovali jsme hranice fyziky." "A používali jsme hodně toho, čemu se říká SRAM. Takže paměť na čipu, abychom mohli dělat dekódování stejně dobře nebo lépe než všichni ostatní." "A teď, když tyto dvě věci spojíte, myslím, že to způsobí obrovské zrychlení schopnosti, aby celá tato infrastrukturní vrstva byla mnohem levnější a hodnotnější, což podle mě znamená mnohem větší dopad vývojářů, vznikne mnohem více aplikací, miliardy a miliardy dalších lidí, kteří ji budou využívat."

Zpracoval jsem data. Zase. Vytvořil jsem mapu. Zase. Obraz je teď ještě ČISTŠÍ. Státy bez požadavků na voličské průkazy jsou 16krát pravděpodobněji poskytovány sociální dávky nelegálním imigrantům než státy vyžadující průkaz totožnosti (67 % vs 4 %, str<0,0001). Demokraté dovážejí a platí nelegálům za hlasy. Podrobnosti👇

Newsom se aktivně snažil skrývat plýtvání a podvody ve výdajích na bezdomovectví. Vetoval návrh zákona, který vyžadoval hlášení nákladů a výsledků, který zákonodárný sbor jednomyslně prošel a byl doporučen státním auditorem poté, co zjistil, že stát ztratil přehled o 24 miliardách dolarů.