Ecco perché l'ingegneria del contesto è così importante. Abbiamo appena trascorso 2 ore a discutere quando un agente dovrebbe fare affidamento sulla propria conoscenza interna rispetto a cercare un contesto rilevante all'interno dei dati per un solo tipo di domanda. Siamo riusciti a esaminare 2 casi di test su centinaia. Anche le persone coinvolte nel brainstorming non riuscivano a concordare su cosa si aspettassero che gli esseri umani facessero in questa situazione. Non c'era davvero una risposta giusta, ed è sempre specifica al contesto cliente per cliente. Tutto nell'ingegneria del contesto è un compromesso tra una varietà di fattori: quanto velocemente vuoi che l'agente risponda a una domanda, quanta interazione di andata e ritorno vuoi richiedere all'utente, quanto lavoro dovrebbe fare prima di provare a rispondere a una domanda, come sa di avere il materiale sorgente esaustivo per rispondere alla domanda, qual è il livello di rischio di una risposta errata, e così via. Ogni decisione che prendi su una di queste dimensioni ha una conseguenza dall'altra parte. Non c'è pranzo gratis. Ecco perché costruire agenti AI è così folle. Sottolinea anche quanto valore ci sia sopra il livello LLM. Prendere queste decisioni correttamente si collega direttamente alla qualità della proposta di valore.