Iată de ce ingineria contextului este atât de importantă. Tocmai am petrecut 2 ore dezbătând când un agent ar trebui să se bazeze pe cunoștințele interne față de încercarea de a găsi context relevant în date pentru un singur tip de întrebare. Am trecut prin 2 cazuri de testare cu sute. Chiar și cei implicați în brainstorming nu puteau fi de acord cu ce s-ar aștepta să facă oamenii în această situație. Chiar nu exista un răspuns corect, iar totul ține de contextul specific de la fiecare client. Totul în ingineria contextului este un compromis între o varietate de factori: cât de repede vrei ca agentul să răspundă la o întrebare, câtă interacțiune vrei să necesite utilizatorului, câtă muncă ar trebui să facă înainte să încerce să răspundă la o întrebare, cum știe că are materialul sursă exhaustiv pentru a răspunde la întrebare, Care este nivelul de risc al răspunsului greșit și așa mai departe. Fiecare decizie pe care o iei pe una dintre aceste dimensiuni are o consecință la celălalt capăt. Nu există prânz gratuit. De aceea construirea agenților AI este atât de nebună. De asemenea, evidențiază câtă valoare există peste stratul LLM. Luarea corectă a acestor decizii se leagă direct de calitatea propunerii de valoare.

Din cea mai recentă postare a lui Karpathy: "Aplicațiile LLM vor organiza, ajusta fin și chiar vor anima echipele acestora în profesioniști desfășurați în verticale specifice, furnizând date private, senzori, actuatoare și bucle de feedback." Exact așa este. Într-o lume a agenților AI, există un strat mult mai gros deasupra LLM-ului decât se percepea inițial. Critica despre ambalajele subțiri a funcționat oarecum într-o lume în care oamenii reambalau tokenurile cu o interfață sau un prompt de sistem ușor personalizat, ceea ce era în mare parte tot ce era posibil acum 2 ani. Dar agenții AI vor combina unelte, date proprietare, prompturi de sistem foarte specifice domeniului, interfețe specializate pentru părțile umane în buclă ale fluxurilor de lucru, inginerie avansată a contextului pentru a gestiona limitele ferestrelor de context și multe altele. Majoritatea covârșitoare a acestora vor avea performanțe mai bune atunci când sunt adaptate unui anumit sector, funcție de post sau tip de sarcină. Mai mult, pentru a obține o adoptare reală în mediul enterprise, este necesar, în general, un grad puternic de integrare a sistemelor și management al schimbărilor pentru a conduce schimbările și adoptarea fluxului de lucru. De aceea, companiile (sau cel puțin produsele) axate pe oportunități specifice vor fi adesea obligate să alimenteze efectiv aceste fluxuri de lucru. O mulțime de oportunități aici în anul ce urmează.

Acestea sunt genul de lucruri care trec cu vederea atunci când te gândești la viitorul joburilor. Dacă poți face ceva care este relativ cerut (dar rar pentru că costă mult) și faci acel lucru să aibă mai multă producție, vei vedea cererea crescând, nu scăzând. Am văzut numeroase exemple de companii care angajează ingineri pentru probleme care nu ar fi fost pozitive sau posibile pentru ROI înainte de existența agenților AI. Există multă muncă în economie care ar trebui să fie susținută de software, dar bariera de a începe cu software pare insurmontabilă când proiectul pare că va dura unul sau doi ani. Când AI face ca dureze o lună sau două, tot calculul se schimbă. Același lucru va fi valabil și în domeniul sănătății, drept, unele părți ale marketingului și multe alte categorii de muncă în domeniul cunoașterii.