Neden CPU Üzerinde Yerel LLM?
Öncelikle “Neden GPU olmadan LLM çalıştırmayı istiyoruz” sorusu sizin de aklınıza takıldıysa onun cevabıyla başlayalım. Çünkü elimizde GPU yok :)
Sunucumdan dışarıya çıkmasını istemediğim bazı verilerin bir LLM tarafından yorumlanarak bana günlük, haftalık, aylık ve yıllık olarak raporlanmasını kurgulamak ve bazı durumlarda da yine sunucumdan çıkmasını istemediğim veriler hakkında bir dil modeli ile istişare etmek gibi bir isteğim vardı. Bu isteği GPU’ya sahip olmayan ama CPU ve RAM bolluğu bulunan sunucumda uygulayabilir miyim diye bir denemeye giriştim…
İşlemci Özelliklerinin Kontrol Edilmesi
Bu noktada dil modelini GPU olmadan çalıştıracağımız için hızı belirleyen en önemli şey işlemcinin vektör komut setleri oluyor. Kurulum yapılacak makinede en az avx2 flag’inin olması gerekiyor; avx_vnni ya da avx512 varsa daha da çok işimize yarıyor.
grep -o -w -E 'avx2|avx_vnni|avx512f' /proc/cpuinfo | sort | uniq -c
Kurulumu bir sanal makinede yapıyorsanız, sanal makinenin CPU tipini host olarak ayarlamak gerekiyor. Proxmox üzerinde varsayılan CPU tipinde bu flag’ler sanal makineye geçirilmiyor ve hız ciddi şekilde düşüyor, bunu önlemek için host tipini kullanıyoruz. Aynı şekilde model belleğe tamamen yükleneceği için ballooning özelliğini de kapatıyoruz.
qm set <vm_id> --cpu host --balloon 0
Derleme Ortamının Hazırlanması
Dil modelini çalıştırabilmek için belirttiğim ayarlarla bir Rocky Linux 9 sanal makine yapılandırıp çalışır duruma getiriyorum. Rocky Linux 9’un sistemle gelen derleyici araçları (binutils) avx_vnni komutlarını tanımıyor. Bu yüzden derlemeyi daha yeni olan gcc-toolset-14 ile yapıyorum.
sudo dnf install -y gcc-toolset-14 cmake git
Derleme yapacağımız terminalde yeni araçları etkinleştiriyoruz.
source /opt/rh/gcc-toolset-14/enable
gcc --version
llama.cpp’nin Derlenmesi
Kaynak kodu indirip işlemciye özel (GGML_NATIVE) olarak derliyoruz.
sudo git clone https://github.com/ggml-org/llama.cpp /opt/llama.cpp
cd /opt/llama.cpp
cmake -B build -DGGML_NATIVE=ON -DCMAKE_BUILD_TYPE=Release
cmake --build build -j $(nproc)
Derleme tamamlandığında kullanacağımız araçlar build/bin altında oluyor: llama-server, llama-cli ve llama-bench.
Model Seçimi ve İndirilmesi
Bu noktada hangi modeli kullanabileceğime dair yaptığım araştırmalardan bazı çıkarımlar yaparak bir model seçimine gittim. CPU üzerinde üretim hızını belirleyen şey modelin toplam boyutu değil, her token’da kullanılan aktif parametre sayısı olarak görünüyordu. Bu yüzden MoE (Mixture of Experts) modeller CPU için çok uygun gibi duruyorlardı. Ben bu noktada iki model arasında kaldım: Qwen3.6-35B-A3B ve Qwen3.5-4B. İki modelin de kurulumlarını gerçekleştirip testler yaptım. Karşılaştırmayı performans bölümünde ekledim; testlerim sonucunda kullanmaya karar verdiğim asıl model Qwen3.6-35B-A3B oldu. Model, toplamda 35B parametreye sahip olmasına rağmen her adımda yalnızca ~3B parametreyi aktif olarak kullanıyor.
Kuantizasyon ayarını da makinedeki RAM’e göre seçiyoruz. 24 GB RAM’li makinede context için de yer kalması gerekmesi nedeniyle ~17,7 GB olan UD-IQ4_XS sürümünü kullandım.
pip install -U huggingface_hub
hf download unsloth/Qwen3.6-35B-A3B-GGUF Qwen3.6-35B-A3B-UD-IQ4_XS.gguf --local-dir /srv/models
Performansın Ölçülmesi
Modeli servis olarak başlatmadan önce llama-bench ile kaç iş parçacığında en iyi sonucu aldığımızı ölçüyoruz.
./build/bin/llama-bench -m /srv/models/<model_dosyasi>.gguf -t 4,6,8 -p 512 -n 128
Çıktıda iki değere bakıyoruz: pp (prompt processing) modelin girdiyi okuma hızı, tg (text generation) ise cevabı yazma hızı. İkisi de saniyedeki token sayısı.
Benim makinemdeki çıktı:
| model | size | params | backend | threads | test | t/s |
| ----------------------------------- | ---------: | ------: | ------- | ------: | ----: | -----------: |
| qwen35moe 35B.A3B IQ4_XS - 4.25 bpw | 16.50 GiB | 34.66 B | CPU | 4 | pp512 | 54.56 ± 0.17 |
| qwen35moe 35B.A3B IQ4_XS - 4.25 bpw | 16.50 GiB | 34.66 B | CPU | 4 | tg128 | 10.19 ± 0.03 |
| qwen35moe 35B.A3B IQ4_XS - 4.25 bpw | 16.50 GiB | 34.66 B | CPU | 6 | pp512 | 64.90 ± 1.51 |
| qwen35moe 35B.A3B IQ4_XS - 4.25 bpw | 16.50 GiB | 34.66 B | CPU | 6 | tg128 | 11.46 ± 0.11 |
| qwen35moe 35B.A3B IQ4_XS - 4.25 bpw | 16.50 GiB | 34.66 B | CPU | 8 | pp512 | 60.69 ± 0.22 |
| qwen35moe 35B.A3B IQ4_XS - 4.25 bpw | 16.50 GiB | 34.66 B | CPU | 8 | tg128 | 10.84 ± 0.08 |
Benim sunucumdaki i5-12500 işlemci üzerindeki 8 vCPU’lu sanal makinemde en iyi sonuç 6 iş parçacığında geldi: pp ~65, tg ~11,5 token/sn. 8 iş parçacığına çıkmak hızı artırmadı, aksine biraz düşürdü. İşlemcide 6 fiziksel çekirdek olduğu ve token üretiminde asıl sınır bellek bant genişliği olduğu için fazladan iş parçacığı eklemek yalnızca birbirlerini beklemelerini sağlıyordu.
İki modeli aynı ayarlarla (6 iş parçacığı) karşılaştırdığımda:
| model | size | params | backend | threads | test | t/s |
| ----------------------------------- | ---------: | ------: | ------- | ------: | ----: | -----------: |
| qwen35moe 35B.A3B IQ4_XS - 4.25 bpw | 16.50 GiB | 34.66 B | CPU | 6 | pp512 | 64.90 ± 1.51 |
| qwen35moe 35B.A3B IQ4_XS - 4.25 bpw | 16.50 GiB | 34.66 B | CPU | 6 | tg128 | 11.46 ± 0.11 |
| qwen35 4B Q4_K - Medium | 2.54 GiB | 4.21 B | CPU | 6 | pp512 | 76.24 ± 1.30 |
| qwen35 4B Q4_K - Medium | 2.54 GiB | 4.21 B | CPU | 6 | tg128 | 11.61 ± 0.24 |
Boyut farkı 6,5 kat olmasına rağmen cevap yazma hızı (tg) neredeyse aynı. Çünkü 35B-A3B her token’da yalnızca ~3B parametre kullanıyor; 4B’lik model ise her token’da 4B parametrenin tamamını kullanıyor. 4B model sadece uzun girdileri okurken (pp) biraz daha hızlı davranıyor.
Hız aynıyken fark cevabın kalitesinde ortaya çıkıyor. İki modele de “Kubernetes üzerinde bir pod CrashLoopBackOff durumuna düşüyor. En yaygın üç sebebini ve her biri için kontrol edeceğin komutu kısaca yaz.” diye sorduğumda iki model de akıcı Türkçe cevap verdi. 35B-A3B; uygulama hatası için kubectl logs --previous, probe hataları için kubectl describe pod ve OOMKilled sebebini önerdi. 4B model ise sürekli yeniden başlayan bir konteynere kubectl exec ile girmeyi önerdi. Konteyner sürekli ayakta kalamayacağı için “exec” ile erişimin işe yaramayacağına dair yaptığımız konuşmalarda biraz diretse de sonucunda ikna oldu. Aynı hızda daha doğru cevap verdiği için 35B-A3B’de karar kıldım.
Servis Olarak Çalıştırılması
Sunucuda servisi root yetkisiyle çalıştırmamak için ayrı bir kullanıcı oluşturuyoruz.
sudo useradd -r -s /sbin/nologin llama
API anahtarını servis dosyasına yazmak yerine sadece root’un okuyabildiği bir ortam dosyasında tutuyoruz.
sudo mkdir -p /etc/llama
echo "LLAMA_API_KEY=$(openssl rand -hex 32)" | sudo tee /etc/llama/server.env
sudo chmod 600 /etc/llama/server.env
Ardından /etc/systemd/system/llama-server.service dosyasını oluşturuyoruz.
[Unit]
Description=llama.cpp server
After=network-online.target
[Service]
User=llama
EnvironmentFile=/etc/llama/server.env
ExecStart=/opt/llama.cpp/build/bin/llama-server \
-m /srv/models/<model_dosyasi>.gguf --alias <model_adi> \
-t 6 -c 65536 -np 2 --jinja --host 0.0.0.0 --port 8080
Restart=on-failure
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true
[Install]
WantedBy=multi-user.target
Servis dosyasındaki parametreler şu işe yarıyor:
-t 6: Kullanılacak iş parçacığı sayısı. Ölçümde en iyi sonucu veren değeri yazıyoruz.-c 65536: Toplam bağlam (context) boyutu, yani modelin bir istekte aynı anda okuyup aklında tutabileceği token sayısı. Bağlam için RAM’de ayrıca KV cache ayrıldığı için bu değer bellek kullanımını doğrudan etkiliyor.-np 2: Sunucunun aynı anda işleyebileceği istek sayısı (parallel slot). Toplam bağlam bu yuvalar arasında bölündüğü için her istek en fazla 32K token kullanabiliyor. Böylece örneğin Open WebUI’den sohbet ederken arka planda çalışan bir rapor betiği sırada beklemiyor fakat iki istek aynı anda çalıştığında işlemci paylaşıldığı için ikisi de yavaşlıyor.--jinja: Modelin kendi sohbet şablonunu (chat template) kullanmasını sağlıyor.
Servisi etkinleştirip başlatıyoruz.
sudo systemctl daemon-reload
sudo systemctl enable --now llama-server
Erişimin Kısıtlanması
API’ye yalnızca yerel ağdaki belirli makinelerin erişebilmesi için firewalld’de ayrı bir zone oluşturuyoruz.
sudo firewall-cmd --permanent --new-zone=llm
sudo firewall-cmd --permanent --zone=llm --add-source=<izin_verilen_ip>
sudo firewall-cmd --permanent --zone=llm --add-port=8080/tcp
sudo firewall-cmd --reload
API’nin Test Edilmesi
llama-server OpenAI uyumlu bir API sunuyor. Bu sayede OpenAI API’sini destekleyen her araçla (Open WebUI, betikler vb.) kullanabiliyoruz.
curl http://<sunucu_ip>:8080/v1/chat/completions \
-H "Authorization: Bearer <api_anahtari>" -H "Content-Type: application/json" \
-d '{"model":"<model_adi>","messages":[{"role":"user","content":"Merhaba"}]}'
Qwen modelleri varsayılan olarak cevap vermeden önce “düşünme” adımı üretiyor. Kısa özet gibi işlerde bu gereksiz bekleme demek. Kapatmak için ortam dosyasına şu satırı ekleyip servisi yeniden başlatıyoruz.
LLAMA_ARG_CHAT_TEMPLATE_KWARGS={"enable_thinking":false}
Open WebUI Kurulumu
Modelle tarayıcı üzerinden sohbet edebilmek için Open WebUI arayüzünü kullanıyoruz. Ben Open WebUI’yi Kubernetes kümemde çalıştırıyorum ama tek bir konteyner olarak da aynı ayarlarla çalıştırılabiliyor. Ollama yerine llama-server’ın OpenAI uyumlu API’sini kullanacağımız için Ollama bağlantısını kapatıp API adresini ve anahtarını veriyoruz.
podman run -d --name open-webui -p 3000:8080 \
-v open-webui:/app/backend/data \
-e ENABLE_OLLAMA_API=False \
-e OPENAI_API_BASE_URL=http://<sunucu_ip>:8080/v1 \
-e OPENAI_API_KEY=<api_anahtari> \
-e DEFAULT_MODELS=<model_adi> \
-e ENABLE_FOLLOW_UP_GENERATION=False \
-e ENABLE_TAGS_GENERATION=False \
-e ENABLE_AUTOCOMPLETE_GENERATION=False \
ghcr.io/open-webui/open-webui:v0.12.4
Son üç ayar Open WebUI’nin her mesajdan sonra arka planda modele gönderdiği ek istekleri (önerilen sorular, etiket ve otomatik tamamlama) kapatıyor. GPU’da fark edilmeyen bu istekler CPU’da asıl cevabı bekletiyor.
Konteyner başladıktan sonra http://<sunucu_ip>:3000 adresine girip ilk hesabı oluşturuyoruz. İlk oluşturulan hesap yönetici hesabı oluyor. Başkalarının kayıt olmaması için yönetici hesabını oluşturduktan sonra konteyneri -e ENABLE_SIGNUP=False ile yeniden başlatıyoruz.
Open WebUI ile Kullanırken Dikkat Edilmesi Gereken Nokta
Open WebUI’ı ilk bağladığımda basit bir “naber” mesajına cevap almam yaklaşık 110 saniye sürdü. Sebebi, Open WebUI’nin yerleşik araçlarının (native function calling) her isteğe ~6600 token’lık araç tanımı eklemesiydi. CPU’da saniyede ~60 token okunduğu için bu tek başına 110 saniye ediyor.
Open WebUI’de Yönetici Paneli > Ayarlar > Modeller altında modeli düzenleyip yerleşik araçları kapatıp Function Calling seçeneğini Legacy yaptığımda aynı mesajın cevabı ~4 saniyeye indi. CPU’da darboğaz çoğu zaman cevabı yazmak değil, uzun girdiyi okumak oluyor…