Herkese selamlar,

Son zamanlarda yapay zeka dünyasında, özellikle de Büyük Dil Modelleri (LLM) tarafında sıkça duyduğumuz "Kuantizasyon" (Quantization) konusunu derlemek istedim. Modellerin boyutları büyüdükçe onları kendi donanımlarımızda çalıştırmak zorlaşıyor. İşte tam bu noktada kuantizasyon devreye giriyor.

Peki nedir bu kuantizasyon ve hangi yöntemlerle yapılıyor? Gelin detaylara bakalım.

Kuantizasyon Nedir?​

En basit tabiriyle kuantizasyon, bir yapay zeka modelinin "ağırlıklarının" (weights) ve bazen de aktivasyonlarının veri tipini, daha düşük çözünürlüklü bir formata dönüştürme işlemidir.

Normalde modeller eğitilirken yüksek hassasiyetli 32-bit kayan noktalı sayılar (FP32) veya 16-bit (FP16/BF16) kullanılır. Kuantizasyon işlemi ile bu ağırlıklar 8-bit tam sayılara (INT8), hatta 4-bit (INT4) gibi çok daha küçük veri tiplerine sıkıştırılır.

Neden Yapıyoruz?

• VRAM ve RAM Tasarrufu: Modelin kapladığı alan yarı yarıya, hatta dörtte birine düşer.
• Hız: Bellek bant genişliği darboğazı azaldığı için çıkarım (inference) işlemleri çok daha hızlı gerçekleşir.
• Erişilebilirlik: Devasa sunucu ekran kartları yerine, evdeki tüketici sınıfı GPU'larda veya sadece CPU kullanarak model çalıştırmayı mümkün kılar.

---

Temel Kuantizasyon Yaklaşımları​

Kuantizasyon işlemi genel olarak modele ne zaman uygulandığına göre ikiye ayrılır:

1. PTQ (Post-Training Quantization - Eğitim Sonrası Kuantizasyon)En yaygın ve kolay yöntemdir. Modelin eğitimi tamamen bittikten sonra uygulanır. Ağırlıklar doğrudan dönüştürülür. Pratik ve hızlıdır ancak çok düşük bitlere inildiğinde modelin doğruluğunda kayıplar yaşanabilir.

2. QAT (Quantization-Aware Training - Kuantizasyon Farkındalıklı Eğitim)Model eğitilirken kuantizasyonun getireceği kayıplar hesaba katılır. Model, düşük çözünürlükte çalışmaya "alışarak" eğitildiği için performans kaybı çok daha düşüktür.

---

Popüler Kuantizasyon Yöntemleri ve Algoritmaları​

Günümüzde özellikle açık kaynaklı modellerde karşımıza çıkan popüler formatlar şunlardır:

• GPTQ: Ağırlıkları 4-bit seviyesine indirirken model performansını korumayı hedefler. Genellikle GPU üzerinde hızlı çıkarım için tercih edilir.
• AWQ (Activation-aware Weight Quantization): Sadece ağırlıklara değil, aktivasyonlara da bakarak en önemli ağırlıkları korur. GPTQ'nun güçlü bir alternatifidir.
• GGUF: Özellikle CPU ve Apple Silicon işlemciler için devrim niteliğindedir. llama.cpp ile hayatımıza girmiş, yüksek performanslı bir formattır.
• BitsAndBytes (NF4): Özellikle model eğitimi ve fine-tuning süreçlerinde VRAM tasarrufu sağlamak için kullanılır.

---

Kendi Çalışmalarım ve Sorularım​

Ben de şu sıralar kuantizasyon yöntemleri ve modellerin daha verimli hale getirilmesi üzerine aktif olarak çalışıyorum. Özellikle farklı bit seviyelerindeki performans değişimleri ve optimizasyon süreçleri üzerine araştırmalarımı sürdürüyorum.

Sizin bu alandaki tecrübeleriniz neler? Şu an üzerinde çalıştığınız veya denediğiniz özel kuantizasyon projeleri var mı? Yerel ortamda hangi formatları (GGUF, AWQ, GPTQ) daha başarılı buluyorsunuz?

Tecrübelerinizi ve önerilerinizi paylaşırsanız üzerine tartışmak isterim. Herkese iyi çalışmalar!