Berikut adalah kesalahpahaman umum tentang RAG! Kebanyakan orang berpikir RAG bekerja seperti ini: mengindeks dokumen → mengambil dokumen yang sama. Tetapi pengindeksan ≠ pengambilan. Apa yang Anda indeks tidak harus menjadi apa yang Anda berikan kepada LLM. Setelah Anda memahami hal ini, Anda dapat membangun sistem RAG yang benar-benar berfungsi. Berikut adalah 4 strategi pengindeksan yang memisahkan RAG yang baik dari RUG yang hebat: 1) Pengindeksan Potongan ↳ Ini adalah pendekatan standar. Pisahkan dokumen menjadi beberapa bagian, sematkan, simpan dalam database vektor, dan ambil kecocokan terdekat. ↳ Sederhana dan efektif, tetapi potongan besar atau berisik akan merusak presisi Anda. 2) Pengindeksan Sub-potongan ↳ Pecahkan potongan Anda menjadi sub-potongan yang lebih kecil untuk pengindeksan, tetapi ambil potongan lengkap untuk konteks. ↳ Ini kuat ketika satu bagian mencakup banyak konsep. Anda mendapatkan pencocokan kueri yang lebih baik tanpa kehilangan konteks sekitar yang dibutuhkan LLM Anda. 3) Pengindeksan Kueri ↳ Alih-alih mengindeks teks mentah, hasilkan pertanyaan hipotetis yang dapat dijawab oleh potongan tersebut. Indeks pertanyaan-pertanyaan itu sebagai gantinya. ↳ Kueri pengguna secara alami lebih selaras dengan pertanyaan daripada teks dokumen mentah. Ini menutup kesenjangan semantik antara apa yang ditanyakan pengguna dan apa yang telah Anda simpan. ...