Hugging Face Hub'daki herhangi bir GGUF Modeli ile Ollama kullanın

Hugging Face Hub'dan özel GGUF'ları da çalıştırabilirsiniz.

Ollama, LLM'lerle doğrudan bilgisayarınız üzerinden etkileşime girmek için llama.cpp tabanlı bir uygulamadır. Hugging Face'te topluluk tarafından oluşturulan herhangi bir GGUF quant'ını (bartowski, MaziyarPanahi ve çok daha fazlası) yeni bir Modelfile oluşturmadan doğrudan Ollama ile kullanabilirsiniz. Yazım sırasında Hub'da 45K herkese açık GGUF checkpoint bulunmaktadır ve bunların herhangi birini tek bir ollama run komutuyla çalıştırabilirsiniz. Genel deneyiminizi iyileştirmek için kuantizasyon türü seçimi, sistem promptu gibi özelleştirmeler de sunuyoruz.

Başlamak oldukça basittir:

1. Yerel Uygulamalar ayarlarınızda ollama'yı etkinleştirin.
2. Bir model sayfasında, Use this model açılır menüsünden ollama seçeneğini seçin. Örneğin: bartowski/Llama-3.2-1B-Instruct-GGUF.

Kod parçası şu biçimde olacaktır:

ollama run hf.co/{username}/{repository}

Hem hf.co hem de huggingface.co alan adlarını kullanabileceğinizi lütfen unutmayın.

Deneyebileceğiniz bazı modeller:

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF
ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF
ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF

Özel Kuantizasyon

Varsayılan olarak, model deposunda mevcut olduğunda Q4_K_M kuantizasyon şeması kullanılır. Değilse, depoda mevcut olan makul bir kuantiz türü seçilir.

Farklı bir şema seçmek için:

1. Bir model sayfasındaki Files and versions sekmesinden, belirli bir GGUF dosyası için GGUF görüntüleyicisini açın.
2. Use this model açılır listesinden ollama seçin.

Kod parçası şu formatta olacaktır (kuantizasyon etiketi eklendi):

ollama run hf.co/{username}/{repository}:{quantization}

Örneğin:

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

# the quantization name is case-insensitive, this will also work
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:iq3_m

# you can also directly use the full filename as a tag
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

Özel Sohbet Şablonu ve Parametreleri

Varsayılan olarak, sık kullanılan şablonlardan oluşan bir listeden bir şablon otomatik olarak seçilir. Bu seçim, GGUF dosyasının içinde saklanan yerleşik tokenizer.chat_template meta verisine dayanılarak yapılır.

GGUF dosyanız yerleşik bir şablon içermiyorsa veya sohbet şablonunuzu özelleştirmek istiyorsanız, depoda template adında yeni bir dosya oluşturabilirsiniz. Şablon bir Jinja şablonu değil, bir Go şablonu olmalıdır. İşte bir örnek:

{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>

Go şablon formatı hakkında daha fazla bilgi için lütfen bu belgelere başvurun.

Depoda system adlı yeni bir dosya oluşturarak bir sistem istemci (system prompt) yapılandırabilirsiniz.

Örnekleme parametrelerini değiştirmek için depoda params adında bir dosya oluşturun. Dosya JSON formatında olmalıdır. Kullanılabilir tüm parametrelerin listesi için lütfen bu belgelere bakın.

Hugging Face Hub'dan Özel GGUF'ları Çalıştırın

Kişisel hesabınızdan veya ilişkili bir kuruluş hesabından özel GGUF'leri iki basit adımda çalıştırabilirsiniz:

1. Ollama SSH anahtarınızı kopyalayın; bunu şu komutla yapabilirsiniz: cat ~/.ollama/id_ed25519.pub | pbcopy
2. Hesap ayarlarınıza giderek hesap ayarlarınız bölümüne ve Add new SSH key düğmesine tıklayarak ilgili anahtarı Hugging Face hesabınıza ekleyin.
3. İşte! Artık Hugging Face Hub’dan özel GGUF’ları çalıştırabilirsiniz: ollama run hf.co/{username}/{repository}.

Referanslar

• https://github.com/ollama/ollama/blob/main/docs/README.md
• https://huggingface.co/docs/hub/en/gguf