Herkese merhaba! Günümüzde büyük dil modelleri (LLM’ler) birçok alanda devrim yaratıyor. Kendi özel modelinizi eğitmek veya ince ayar yapmak (fine-tuning) ise oldukça popüler bir konu haline geldi. Ancak, bu modelleri eğitmek ve inference (çıkarım) yapmak genellikle yüksek donanım gereksinimleri ve karmaşık kurulumlar içerir.
Bu makalede, Unsloth kütüphanesinin sağladığı verimlilikle, Flask web çatısı üzerinden yerel olarak barındırılan bir dil modelini nasıl çalıştırabileceğinizi ve basit bir web arayüzü ile etkileşime geçebileceğinizi göstereceğim. Ayrıca, bu yerel uygulamayı Ngrok kullanarak internet üzerinden erişilebilir hale getirmenin ilk adımlarını da ele alacağız.
Örneğimizde, alpaca formatına göre ince ayar yapılmış bir model kullanacağız. Unsloth, bu tür modelleri yükleme ve çalıştırma konusunda büyük bir hız ve bellek avantajı sunar.
Devamını okumak için : https://medium.com/@denizhansahin/unsloth-flask-ngrok-ile-yerelde-deepseek-%C3%A7al%C4%B1%C5%9Ft%C4%B1rma-ve-api-yap%C4%B1m%C4%B1-710f8df28b35