Merhaba!
Kendi local cihazınıda veya sunucunuzda çalışabilecek basit bir arama motoru geliştirdik. Hibrit arama ve RAG desteği ile bir arama sorgusunu Qdrant ve Gemma embedding kullanarak dense retrieval, vektör araması, yapıyoruz, ayrıca anahtar kelime araması, sparse retrieval, ile de sorgular ile eşleşenleri buluyoruz. Skor birleştirme ile hem vektör hem de anahtar kelime ağırlıklarını birleştirip dengeli bir listeleme yapıyoruz. Akıllı skorlama algoritması ile bir sonucun kaliteli olmasına da önem vermekteyiz, bu algoritmada ise otorite skoru, domain authority, ile güvenilir kaynaklara daha yüksek puan veriliyor, güncellik ile en yeni kaynaklara sıralanıyor, tıklama öğrenmesi, click Learning, ile hangi link daha fazla tıklanmış ise arama sonuçlarında daha iyi bir yerde olmasını sağlıyoruz. Yapay zeka tarafındaki sıralamada ise Gemma3 modelini kullanıyoruz, AI reranking için ilk 15-20 sonucu alıp LLM modeli ile sıralıyoruz. LLM ve RAG desteği ile kullanıcı için arama özeti veriyoruz. Bu sistemde ise Redis ile bir kuyruk yapısı geliştirdik, multiprocessing ile aynı anda birden fazla sayfanın Postgresql ve Qdrant içine indekslenmesini sağlıyoruz. Bu indeksleme algoritması ise kısaca kullanıcının eklemiş olduğu siteler üzerinde belirli aralıklar ile indeksleme yapıyoruz. Sitelerin sayfalarındaki linkleri kazıyor ve elde edilen yeni linkler üzerinde embedding yapıyoruz.
Bu projemizde Redis, Docker, Embeddinggemma, Ollama, Qdrant vektör veritabanı ve Postgresql ile Streamlit kullandık.
Proje Kaynak kodu: