Inilah mengapa rekayasa konteks adalah masalah besar. Kami baru saja menghabiskan 2 jam untuk memperdebatkan kapan agen harus mengandalkan pengetahuan internalnya vs. mencoba menemukan konteks yang relevan dalam data hanya untuk satu jenis pertanyaan. Kami melewati 2 kasus uji ratusan. Bahkan orang-orang yang terlibat dalam brainstorming tidak semua bisa menyetujui apa yang mereka harapkan manusia lakukan dalam situasi ini. Benar-benar tidak ada jawaban yang benar, dan itu selalu konteks spesifik pelanggan demi pelanggan. Segala sesuatu dalam rekayasa konteks adalah pertukaran antara berbagai faktor: seberapa cepat Anda ingin agen menjawab pertanyaan, berapa banyak interaksi bolak-balik yang ingin Anda perlukan untuk pengguna, berapa banyak pekerjaan yang harus dilakukan sebelum mencoba menjawab pertanyaan, bagaimana ia tahu bahwa ia memiliki materi sumber yang lengkap untuk menjawab pertanyaan, Apa tingkat risiko jawaban yang salah, dan sebagainya. Setiap keputusan yang Anda buat pada salah satu dimensi ini memiliki konsekuensi di ujung yang lain. Tidak ada makan siang gratis. Inilah sebabnya mengapa membangun agen AI sangat liar. Ini juga menyoroti seberapa banyak nilai yang ada di atas lapisan LLM. Mendapatkan keputusan ini dengan benar secara langsung berhubungan langsung dengan kualitas proposisi nilai.