Tidak pernah ada substrat yang mendasari teknologi yang meningkatkan kemampuan dan menurunkan biaya secara spesifik tugas secepat yang dilakukan AI. Di tahun depan karena peningkatan model yang mendasarinya, agen AI akan: menangani tugas yang berjalan lebih lama; berurusan dengan pembusukan konteks jauh lebih baik dalam jendela konteks panjang tanpa bingung; menjadi jauh lebih cepat untuk tugas yang semakin sulit; meningkatkan keahlian di semua bidang pekerjaan pengetahuan karena ekspansi pasca-pelatihan jauh melampaui kode; bekerja dengan alat dan penggunaan komputer jauh lebih baik; dan banyak lagi. Masing-masing kemampuan dan peningkatan ini akan membuka batas kasus penggunaan lainnya. Jika Anda membangun agen AI dan arsitektur produk, UX, atau model bisnis Anda tidak dapat sepenuhnya memanfaatkan pembaruan ini maka Anda akan terlempar.

Akibatnya adalah karena agen AI, setiap usaha kecil dan pengusaha sekarang memiliki sumber daya Fortune 500 yang mereka inginkan. Teknologi selalu tentang menghasilkan lebih banyak kelimpahan dan akses yang lebih baik ke sumber daya tertentu. Kami telah melakukan ini dengan perangkat lunak selama beberapa dekade dari mainframe ke client-server ke cloud. Masing-masing periode ini membuat teknologi 10-100X lebih mudah diakses oleh lebih banyak bisnis. AI melakukan hal yang sama sekarang untuk semua bidang pekerjaan pengetahuan. Mengapa pengkodean kelas atas hanya tersedia untuk sekelompok perusahaan mikroskopis kecil di dunia? Mengapa sebagian besar perusahaan tidak mampu membeli iklan yang bagus? Mengapa hanya sebagian kecil perusahaan yang mendapatkan nasihat hukum yang hebat, keamanan perangkat lunak, penelitian, dan hampir setiap domain pekerjaan pengetahuan lainnya? AI membawa semua kemampuan ini ke perusahaan dari semua ukuran. Peluang terbesar dalam agen AI adalah mencari tahu sumber daya apa yang selalu diinginkan sebagian besar perusahaan tetapi tidak pernah mampu membeli atau menemukan sebelumnya.

Inilah mengapa rekayasa konteks adalah masalah besar. Kami baru saja menghabiskan 2 jam untuk memperdebatkan kapan agen harus mengandalkan pengetahuan internalnya vs. mencoba menemukan konteks yang relevan dalam data hanya untuk satu jenis pertanyaan. Kami melewati 2 kasus uji ratusan. Bahkan orang-orang yang terlibat dalam brainstorming tidak semua bisa menyetujui apa yang mereka harapkan manusia lakukan dalam situasi ini. Benar-benar tidak ada jawaban yang benar, dan itu selalu konteks spesifik pelanggan demi pelanggan. Segala sesuatu dalam rekayasa konteks adalah pertukaran antara berbagai faktor: seberapa cepat Anda ingin agen menjawab pertanyaan, berapa banyak interaksi bolak-balik yang ingin Anda perlukan untuk pengguna, berapa banyak pekerjaan yang harus dilakukan sebelum mencoba menjawab pertanyaan, bagaimana ia tahu bahwa ia memiliki materi sumber yang lengkap untuk menjawab pertanyaan, Apa tingkat risiko jawaban yang salah, dan sebagainya. Setiap keputusan yang Anda buat pada salah satu dimensi ini memiliki konsekuensi di ujung yang lain. Tidak ada makan siang gratis. Inilah sebabnya mengapa membangun agen AI sangat liar. Ini juga menyoroti seberapa banyak nilai yang ada di atas lapisan LLM. Mendapatkan keputusan ini dengan benar secara langsung berhubungan langsung dengan kualitas proposisi nilai.