A Local RAG project to chat/query Turkish PDF docs

streamlit_demo.mp4

Nasıl Kullanılır

1. Repoyu indirin.

   git clone https://github.com/mgoksu/Chat-PDF-for-turkish

2. requirements.txt dosyasından gerekli paketleri yükleyin.

   pip install -r requirements.txt

3. Streamlit'i çalıştırın.

   streamlit run app.py

4. Tarayıcınızdan terminalde gösterilen Local URL adresine gidin. Muhtemelen http://localhost:8501 olarak gelecek.

Proje Genel Bakış

Döküman Önişleme

RAG

Kullanılan Kaynaklar

• PDF dosyalarını okumak için PyPDF2
• Vektör DB olarak Faiss
• Semantic Encoding için e5-base-v2
• Dil modeli olarak SambaLingo-Turkish-Chat

Alternatifler

Bu kaynaklar birbirinden bağımsız olduğundan herhangi birini alternatifiyle değiştirerek farklı sistemler deneyebilirsiniz.

• Semantic Encoding için:
  • Daha büyük model olan e5-large-v2.
• Ben daha iyi sonuçlar alamasam da dil modeli olarak:
  • THUDM/glm-4-9b-chat
  • ytu-ce-cosmos/Turkish-Llama-8b-v0.1

Farklı RAG parametreleri

app.py dosyasından retrieval, sampling parametreleri ve prompt template'ı ile oynayıp testler yapabilirsiniz. Şu anki haliyle deterministic çalışıyor.

Test Ortamı

Ben RTX 4060 Ti (16GB VRAM) ve 8-bit quantization ile test yapabildim. CPU ile denerken RAM doluyordu, pek test edemedim. Context kısmını azaltarak denenebilir belki.

Test PDF dosyasından bazı Örnekler

Üniversite Yönetmeliği (test.pdf dosyası) üzerinden sorduğum birkaç örnek ve cevapları

SORU: Bağıl değerlendirme sistemi nedir?
CEVAP: Bağıl değerlendirme sistemi, öğrencilerin dönem içi çalışmaları, ara sınavları, dönem sonu sınavları ve bütünleme sınavları notlarının ağırlıklarına göre belirlenen başarı not ortalamasını, o dersi alan öğrencilerin başarı düzeyine göre belirleyen bir değerlendirme sistemidir. Bu sistem, öğrencilerin belirli bir dersteki performansını, sınıfındaki diğer öğrencilerin performanslarıyla karşılaştırır.

SORU: Akademik takvim ne zaman hazırlanır?
CEVAP: Akademik takvim, bir önceki eğitim-öğretim yılının en geç Haziran ayı içinde Senato tarafından kararlaştırılır.

SORU: Dört yıllık lisans programını ne kadar zamanda bitirmeliyim?
CEVAP: Dört yıllık lisans programını yedi yıl içinde tamamlamanız gerekmektedir.

Teşekkür - Acknowledgements

• Streamlit HTML ve CSS görsel şablonu: https://github.com/ArmaanSeth/ChatPDF
• Faydalanılan okumalar
  • Beyond English: Implementing a multilingual RAG solution