RAG (Retrieval-Augmented Generation), modelin “ezberinden” konuşmasını azaltıp şirket belgelerinizden gelen pasajlarla cevap üretmeyi hedefler. Fikir basit görünür; uygulamada ise parçalama stratejisi, indeks güncelliği ve yetkilendirme aynı anda doğru kurulmalıdır.
Parçalama: çok küçük veya çok büyük olmaması
PDF veya wiki sayfası tek parça halinde embed edilirse, soru yalnızca küçük bir cümleye denk geldiğinde bile tüm sayfa gürültü olarak gelir. Genelde anlamlı başlık/paragraf sınırları, tablolar için ayrı işleme ve mümkünse yapısal metadata (doküman türü, departman, geçerlilik tarihi) eklenir. Bu metadata hem filtrelemede hem açıklanabilirlikte işe yarar.
Yetki modeli: arama ile aynı disiplin
Klasik kurumsal aramada olduğu gibi, vektör aramasında da “hangi rol hangi koleksiyonu görebilir?” sorusu erken cevaplanmalıdır. Tenant veya proje bazlı indeks ayrımı, sorgu öncesi erişim kontrolü ve audit log birlikte düşünülür. Aksi halde “akıllı asistan”, yanlışlıkla gizli dokümana referans verme riski taşır.
Güncellik ve silme
Politika değişti, eski prosedür arşivlendi — indeks geride kaldıysa asistan yanlış güvenle eski metni öne çıkarır. Yayın–indeksleme hattı: belge güncellendiğinde yeniden chunk + embed, silindiğinde vektör silme veya tombstone. Operasyonel olarak bu, ürün değil “sürekli iş”tir; maliyeti baştan planlamak gerekir.
Değerlendirme: otomasyon + örnekleme
RAG kalitesini ölçmek için küçük bir altın küme (beklenen soru–cevap çiftleri) ve düzenli insan incelemesi kullanılır. Uygunsuz cevap oranı, kaynak gösterme oranı ve “cevap vermeme” (abstention) oranı pano haline getirilir. İlk günden %100 mükemmellik beklemek yerine, iyileştirme döngüsünü tasarıma dahil etmek daha sağlıklıdır.
Sonuç
RAG, kurumsal bilgiyi kullanıcı diline yaklaştıran güçlü bir katmandır; fakat bilgi yönetimi ve güvenlik olmadan tek başına çözüm değildir. Gani Yazılım’da bu hatları ürün bağlamınıza göre tasarlıyor; pilot ve üretim aşamalarında birlikte ölçüyoruz. Ön görüşme ile ihtiyacınızı konuşabiliriz.