Obzvláště jsem byl zvědavý na to, @karpathy proč samořiditelným autům trvalo deset let+ od hvězdných předváděcích jízd až po dokonce trochu nasazené. Andrej vedl umělou inteligenci ve společnosti Tesla 5 let. Opravdu jsem chtěl vědět, zda by tyto třecí plochy měly prodloužit naše časové osy AGI, nebo zda jsou idiosynkratické pro autonomní řízení. Řízení má opravdu vysokou cenu za selhání. Lidé jsou překvapivě spolehliví řidiči - každých 400 000 mil za 7 let máme vážnou nehodu. A samořídící auta musí tomuto bezpečnostnímu profilu odpovídat nebo jej překonat, než mohou být nasazena. Ale je většina domén taková? Před rozhovorem se mi zdálo, že téměř každá doména, do které bychom chtěli AGI zapojit, má mnohem nižší náklady na selhání. Pokud by plně autonomní softwaroví inženýři nesměli 7 let udělat chybu, nasazení by bylo skutečně velmi pomalé. Andrej přišel se zajímavou myšlenkou, kterou jsem předtím neslyšel: ve srovnání s autonomním řízením má softwarové inženýrství vyšší (a potenciálně neomezené) náklady na selhání: > Pokud píšete skutečný kód na produkční úrovni, může jakákoli chyba vést k chybě zabezpečení. Mohlo by dojít k úniku osobních čísel sociálního pojištění stovek milionů lidí. > Pokud se při autonomním řízení něco pokazí, můžete se zranit. Existují horší výsledky. Ale v softwaru je téměř neomezené, jak hrozné něco může být. > V některých ohledech je softwarové inženýrství mnohem těžší problém [než autonomní řízení]. Autonomní řízení je jen jednou z tisíců věcí, které lidé dělají. Je to skoro jako jedna vertikála. Zatímco když mluvíme o obecném softwarovém inženýrství, je zde větší plocha. Existuje potenciálně další důvod, proč by přechod na LLM > široce nasazený AGI mohl proběhnout mnohem rychleji: LLM nám poskytují vnímání, reprezentace a zdravý rozum (abychom se vypořádali s příklady mimo distribuci) zdarma, zatímco ty musely být vytvořeny od nuly pro samořídící auta. Zeptal jsem se na to Andreje: > nevím, kolik toho dostáváme zadarmo. LLM jsou stále dost omylné a mají spoustu mezer, které je třeba ještě zaplnit. Nemyslím si, že se nám daří magické zobecnění úplně vypustit ze škatulky. > Dalším aspektem, ke kterému jsem se chtěl vrátit, je, že samořídící auta ještě zdaleka nejsou hotová. Nasazení je docela minimální. Dokonce i Waymo má velmi málo aut. Vybudovali něco, co žije v budoucnosti. Museli budoucnost odsunout, ale museli ji udělat neekonomickou. > Také, když se podíváte na tato auta a není tam nikdo, kdo by řídil, je tam více lidí, než byste čekali. V jistém smyslu jsme tu osobu vlastně neodstranili, ale přesunuli jsme ji někam, kde ji nemůžete vidět.