Här är varför kontextingenjörskonst är så viktigt. Vi tillbringade precis två timmar med att diskutera när en agent ska förlita sig på sin interna kunskap kontra försöka hitta relevant kontext inom data för bara en typ av fråga. Vi tog oss igenom två testfall med hundratals. Inte ens de inblandade i brainstormen kunde enas om vad de förväntade sig att människor skulle göra i denna situation. Det fanns verkligen inget rätt svar, och det är alltid kontext-specifikt från kund till kund. Allt inom kontextingenjörskonst är en avvägning mellan flera faktorer: hur snabbt vill du att agenten ska svara på en fråga, hur mycket fram och tillbaka-interaktion vill du kräva för användaren, hur mycket arbete bör den göra innan den försöker svara på en fråga, hur vet den att den har det uttömmande källmaterialet för att besvara frågan, Vad är risken för fel svar, och så vidare. Varje beslut du fattar i en av dessa dimensioner har en konsekvens i andra änden. Det finns ingen gratislunch. Det är därför det är så galet att bygga AI-agenter. Det belyser också hur mycket värde det finns ovanför LLM-lagret. Att fatta dessa beslut rätt hänger direkt ihop med kvaliteten på värdeerbjudandet.

Från Karpathys senaste inlägg: "LLM-appar kommer att organisera, finjustera och faktiskt animera team av dem till utplacerade yrkespersoner inom specifika vertikaler genom att tillhandahålla privata data, sensorer och ställdringar samt återkopplingsslingor." Det här stämmer helt. I en värld av AI-agenter finns det ett mycket tjockare lager ovanpå LLM än vad man först trodde. Kritiken av tunna omslag fungerade delvis i en värld där folk packade om tokens med ett lätt anpassat gränssnitt eller systemprompt, vilket i stort sett var allt som var möjligt för två år sedan. Men AI-agenter kommer att kombinera verktyg, proprietär data, mycket domänspecifika systempromptar, specialiserade gränssnitt för de mänskliga delarna av arbetsflödena, avancerad kontextutveckling för att hantera begränsningar i kontextfönstret och mer. De allra flesta av dessa fungerar bättre när de anpassas till en specifik bransch, arbetsfunktion eller typ av uppgift. Dessutom, för att få verklig adoption i företag, krävs generellt en stor grad av systemintegration och förändringshantering för att driva arbetsflödesförändringarna och införandet. Det är därför företag (eller åtminstone produkter) som fokuserar på specifika möjligheter ofta måste driva dessa arbetsflöden. Massor av möjligheter här under det kommande året.

Det är sådana saker man missar när man tänker på framtidens jobb. Om du kan göra något som är relativt efterfrågat (men sällsynt eftersom det kostar mycket), och du får det att producera mer, kommer efterfrågan att öka istället för minska. Jag har sett många exempel på företag som anställt ingenjörer för problem som inte skulle ha varit ROI-positiva eller möjliga innan AI-agenter fanns. Det finns mycket arbete inom ekonomin som borde vara mjukvarudrivet, men hindret för att komma igång med mjukvara känns oöverstigligt när projektet ser ut att ta ett eller två år. När AI gör att det tar en eller två månader förändras all kalkyl. Samma sak gäller inom hälso- och sjukvård, juridik, vissa delar av marknadsföring och många andra kunskapsområden.