FreeToken: az VRAM ile büyük MoE modelleri

FreeToken MoE modellerine özel bir çıkarım motorudur. Normal bir motor modelin tamamını VRAM'e koymak zorundadır; FreeToken uzmanları host RAM'de tutar, GPU'da bir LRU uzman önbelleği çalıştırır ve kaçanları PCIe üzerinden akıtır. Sonuç: VRAM'e sığmayan bir model, sığıyormuş gibi çalışır.

Aynı donanımda ölçüldüğünde fark büyük: 35B'lik bir MoE modeli 18 GB'lik bir MIG diliminde FreeToken vLLM'in ~2–3 katı, Ollama'nın ~17–24 katı hızda çalıştırıyor (karşılaştırma).

Bu sayfadaki her rakam ölçüldü: H200 NVL'in 1g.35gb ve 1g.18gb MIG dilimleri, 24 vCPU, 120 GB RAM, Qwen3.6-35B-A3B-FP8.

Qwen3.6-35B-A3B  →  uzman bankası 31.4 GB
MIG dilimi       →  VRAM 32.3 GB     ← model sığmıyor
                    KV cache 5.0 GB
                    kalan ~2.9 GB
uzmanlar         →  host RAM'de, GPU'ya akıyor

Kurulum

apt-get update
apt-get install -y curl ca-certificates git python3 python3-venv build-essential \
                   python3-dev ninja-build

curl -fsSL -o /tmp/keyring.deb \
  https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
dpkg -i /tmp/keyring.deb && apt-get update
apt-get install -y cuda-toolkit-13-0
export PATH=/usr/local/cuda-13.0/bin:$PATH

curl -LsSf https://astral.sh/uv/install.sh | sh
uv venv /opt/ft-venv
uv pip install --python /opt/ft-venv/bin/python "freetoken[accel]"
/opt/ft-venv/bin/ft --version

ft serve --model Qwen/Qwen3.6-35B-A3B-FP8 \
         --host 0.0.0.0 --port 1919 \
         --kv-reserve-tokens 262144

API server is ready to serve on 0.0.0.0:1919

Model seçimi

FreeToken'ın desteklediği MoE ailelerinden bazıları: DeepSeek-V4, GLM-5.x, Qwen3.5/3.6 MoE, gpt-oss, Gemma-4, MiniMax-M2.5, Muse-Glimmer.

KV cache — bağlamı bedavaya büyütmek

Varsayılan ayarla KV'ye çok az yer kalıyor. --kv-reserve-tokens, uzman önbelleği doldurulmadan önce KV'ye taban ayırır. Dört kurulum ölçüldü, hepsi aynı dilimde:

32 kat bağlam, hızda ölçülebilir kayıp yok. Sebep: uzman bankası (31.4 GB) bu dilime zaten sığmıyor, önbellek kaçırma ağırlıklı çalışıyor; ondan 5 GB kesmek isabet oranını hissedilir ölçüde değiştirmiyor. Modelin tam bağlamını (262.144) açmak serbest.

Ölçümler

Aşağıdakiler --kv-reserve-tokens 262144 ile, ısınma isteği sonrasında alındı.

Isınma — en büyük tuzak

Girdi büyüdükçe (çıktı sabit 299 token)

Girdi 93 kat büyürken toplam süre yalnızca 1.5 kat arttı — 33 bin token'lık bağlam ~2.8 saniyede işleniyor. Uzun bağlam bu kurulumda ucuz.

Çıktı uzadıkça

Sabit bir açılış maliyeti var; uzun üretimde amorti oluyor. Gerçek decode hızı ~89 tok/s.

Eş zamanlı istekler

Toplam verim üç katına çıkıyor: batch'leme uzman getirmelerini paylaştırıyor — aynı uzman bir kez çekilip birden çok istekte kullanılıyor. MoE offload'ın en çok kazandığı yer burası. 4'ten 8'e geçişte kazanç azalıyor çünkü sunucu varsayılan olarak max_running_requests=4 ile çalışıyor; fazlası sıraya giriyor ve gecikme iki katına çıkıyor.

Yüksek token — bağlamı gerçekten doldurmak

262K KV açmak bir şey, onu kullanmak başka. 1g.18gb diliminde ölçüldü (çıktı 200 token):

190 bin token'lık bir istem 51 saniyede işlenip cevaplandı — 18 GB'lik dilimde, 35B modelle. Prefill hızı iki ölçümde de sabit: bağlam büyüdükçe doğrusal ölçekleniyor, çökmüyor. Pencereyi aşan istek temiz bir 400 alıyor.

Dilim küçülünce ne kaybediliyor

Aynı model, aynı ayarlar (--kv-reserve-tokens 262144), iki farklı MIG dilimi:

VRAM yarıya inince hız ~%40 düşüyor, ama model 256K bağlamla çalışmaya devam ediyor.

Sebep bellek tablosunda: 18 GB dilimde kullanılabilir VRAM 15.82 GiB; KV 5 GB alınca uzman önbelleğine ~9.5 GB kalıyor (35 GB dilimde ~26 GB kalıyordu). Uzman bankası 31.4 GB olduğuna göre önbellekte tutulamayan oran %30'dan %83'e çıkıyor — her token daha çok PCIe trafiği demek.

Motor karşılaştırması: FreeToken · vLLM · Ollama

Üçü de aynı pod'da, aynı 1g.18gb dilimde, aynı model ve aynı test betiğiyle ölçüldü. Kurulumlar:

# FreeToken
ft serve --model Qwen/Qwen3.6-35B-A3B-FP8 --host 0.0.0.0 --port 1919          --kv-reserve-tokens 262144

# vLLM 0.28.0
vllm serve Qwen/Qwen3.6-35B-A3B-FP8 --host 0.0.0.0 --port 8000            --cpu-offload-gb 60 --max-model-len 262144 --gpu-memory-utilization 0.92

# Ollama 0.33.3 (GGUF, 22 GB)
OLLAMA_CONTEXT_LENGTH=262144 OLLAMA_HOST=0.0.0.0:11434 ollama serve
ollama pull qwen3.6:35b

Rakamlar token/s. FreeToken vLLM'in ~2–3 katı, Ollama'nın ~17–24 katı.

Neden bu kadar fark var

FreeToken MoE-farkındadır: yalnızca o token için gereken uzmanları çeker, sıcak olanları GPU önbelleğinde tutar. Diğer ikisinin offload'ı katman bazlıdır — hangi ağırlığın gerçekten gerektiğine bakmaz.

vLLM çalışıyor ama yarı hızda. --cpu-offload-gb 60 ile model yüklendi; MoE'de --cpu-offload-gb'nin bozuk olduğunu söyleyen eski kayıtlar 0.28.0 için geçerli değil. Buna karşılık vLLM KV kapasitesinde önde: 453.354 token ayırdı (FreeToken 262.189). Uzun bağlam kapasitesi önceliğinizse bu bir avantaj.

Ollama GPU'dan düşüyor. 22 GB'lik GGUF 18 GB dilime sığmayınca katmanlar RAM'e taşınıyor ve iş CPU'ya geçiyor. Belirti pod içinde net görünür:

ps -eo pcpu,rss,comm --sort=-pcpu | head
%CPU     RSS      COMMAND
2072  24105868   llama-server     ← ~20 çekirdek, 24 GB RSS

Tuzaklar

ceilings: CPU STREAM read 197.3 | PCIe H2D 43.0 D2H 38.7 GB/s (threshold 2.0x)
fp8   n/a  51.3 GB/s  —  offload   └─ CPU MoE has no fp8_block weight path; hybrid unavailable
bf16  52.4 51.5 GB/s  1.02x  offload