Laya — metin üretmeyen karar modeli

Bazı işler metin üretmeyi gerektirmez. "Bu destek talebi hangi konuda?", "Bu mesaj acil mi?" — cevapları tipli bir karar, bir paragraf değil.

Laya bunu yapan bir modeldir: durumu ve soruları verirsiniz, tek geçişte cevapları olasılıklarla döner. Metin üretmez, dolayısıyla ayrıştırılacak çıktı ve uydurma riski yoktur. 421M parametre, GPU istemez.

Bu sayfadaki her sayı gerçek bir Gao Kaptan pod'unda ölçüldü. Kümenin kendisi de aşağıda: bir doğruluk sayısı, üzerinde ölçüldüğü küme ve o kümenin taban çizgileri bilinmeden yorumlanamaz.

İmaj:     python:3.11-slim
İnternet: açık
Komut:    aşağıdaki tek satır

sh -lc "pip install --no-cache-dir --index-url https://download.pytorch.org/whl/cpu --extra-index-url https://pypi.org/simple torch laya > /tmp/setup.log 2>&1; python -c 'from laya import Router; Router(preload=True)' >> /tmp/setup.log 2>&1; sleep infinity"

from laya import Router

r = Router(preload=True)

SORULAR = {
    "konu": {
        "type": "choice",
        "instructions": "Müşteri destek talebi hangi konuda?",
        "criteria": {
            "teknik": "pod, sunucu, GPU, disk, ağ, hata",
            "fatura": "ödeme, bakiye, fatura, ücret, iade",
            "hesap":  "giriş, şifre, üyelik, rol, davet",
            "diger":  "yukarıdakilerin hiçbirine girmiyorsa",
        },
    },
    "acil": {"type": "noul", "instructions": "Zaman baskısı ya da son tarih içeriyor mu?"},
}

out = r.predict({"message": "GPU pod'um açılmıyor, sürekli Pending kalıyor."},
                SORULAR, lang="tr")

{
  "model": "laya-rl-agent",
  "answers": {
    "konu": {"type": "choice", "choice": "fatura",
             "probabilities": {"teknik": 0.0593, "fatura": 0.9256, "hesap": 0.0151},
             "confidence": 0.7247, "answer_confidence": 0.9256},
    "acil": {"type": "noul", "noul": 0.032, "confidence": 0.968}
  },
  "usage": {"input_tokens": 120, "output_tokens": 0}
}

RuntimeWarning: laya: this checkpoint ships invalid temperatures or values outside
[0.5, 5] ... Treat confidence from the affected entries as uncalibrated.

İkinci küme — dar bir ikili kapı

Yukarıdaki küme dört sınıflı bir görev ve Laya orada kaybediyor. Buna iki itiraz yapılabilir, ikisi de haklı: çok sınıflı sınıflandırma 421M'lik bir model için yanlış biçim olabilir — dar ikili kararlar bu model sınıfının güçlü olduğu yer diye bilinir — ve bir küme yalnızca bir kümedir. O yüzden şekli farklı, ikinci bir görev kurup onu da yayınlıyoruz.

Görev uydurma değil: Gao Kaptan'ın exec denetim kaydı komut satırlarını düz metin saklıyor (aranabilir olması için) ve içinde mysql -pSIFRE gibi bir şey geçebilir. "Bu satır sır taşıyor mu?" bizim gerçekten ihtiyaç duyduğumuz bir kapı.

Küme (40 komut satırı)

Dağılım 15 sır / 25 temiz → çoğunluk sınıfı tabanı %62,5, rastgele %50,0. Negatifler bilerek zor seçildi: mysql -p parolayı sorar, satırda sır yoktur; echo $API_KEY bir değişken adıdır, değer değil; ssh-keygen -y açık anahtarı yazdırır. "-p görürsen sır vardır" diyen bir kapı bunların hepsinde yanılır.

# sır İÇEREN (15) — buradaki bütün sırlar uydurma
mysql -u root -pS3cretPass! -e 'show databases'
psql postgresql://kaptan:hunter2@10.0.0.5:5432/app -c 'select 1'
export AWS_SECRET_ACCESS_KEY=wJalrXUtnFEMI2K7MDENGbPxRfiCYEXAMPLEKEY
curl -H 'Authorization: Bearer sk-proj-4f9a2b7c1d8e3f6a0b5c9d2e' https://api.ornek.com/v1/me
git clone https://kaptan:ghp_9xQ2LmNbVc7Ka1Ps@github.com/ornek/repo.git
redis-cli -a 'Tr0ub4dor&3' ping
docker login -u kaptan -p dckr_pat_7Hs2Kq9Zx1Lm registry.ornek.com
ssh -i /dev/null user@host 'echo BEGIN RSA PRIVATE KEY MIIEpAIBAAKCAQEA'
kubectl create secret generic db --from-literal=password=Yaz2026Kaptan!
mongosh 'mongodb://admin:M0ng0Pass@db:27017/admin' --eval 'db.stats()'
printf 'PGPASSWORD=Qw3rty!2026\n' >> /etc/environment
aws configure set aws_access_key_id AKIAIOSFODNN7EXAMPLE
openssl enc -aes-256-cbc -pass pass:BenimGizliParolam -in a.txt -out a.enc
curl -u kaptan:P@rola123 https://ornek.com/api/rapor
echo 'token=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.abc.def' > /tmp/t

# sır İÇERMEYEN (25)
mysql -u root -p -e 'show databases'
echo $API_KEY
curl -H "Authorization: Bearer $TOKEN" https://api.ornek.com/v1/me
psql -h db -U kaptan -d app -c 'select count(*) from pods'
kubectl get pods -n kaptan-ornek
nvidia-smi
df -h /workspace
pip install --no-cache-dir torch
tail -f /var/log/app.log
systemctl restart nginx
git pull origin main
docker login registry.ornek.com
aws s3 ls s3://kaptan-yedek/
redis-cli ping
cat /etc/hosts
ps aux | grep python
chmod +x /usr/local/bin/baslat.sh
kubectl logs deploy/workload-service --tail=100
openssl x509 -in cert.pem -noout -subject
ssh-keygen -y -f ~/.ssh/id_rsa
env | grep -c PATH
apt-get update && apt-get install -y curl
python -c 'import torch; print(torch.cuda.is_available())'
mongosh --host db --eval 'db.stats()'
tar -czf /workspace/yedek.tgz /workspace/veri

Sorulan soru her iki modele de birebir aynı metinle gitti:

Bu komut satırı bir parola, API anahtarı, token ya da özel anahtar DEĞERİ içeriyor mu? Değişken adı (örneğin $TOKEN) ya da parolanın sorulacağı bir bayrak (örneğin -p) içermesi sır İÇERMESİ anlamına gelmez.

Sonuç — ilk kümenin sonucunu değiştirmiyor

Okunması gerekenler:

• "Dar ikili karar bu modelin güçlü yanıdır" beklentisi bu ölçümde doğrulanmadı. Laya tabanın yalnızca 5,0 puan üstünde (%67,5 / %62,5) — ilk kümedeki konu alanında (17,5 puan) elde ettiği farkın altında.
• Bir kapı olarak konuşlandırılamaz: 15 sırrın 6'sını geçiriyor. Bir sır kaçırmak, temiz bir komutu işaretlemekten pahalıdır; doğruluk tek başına bunu göstermez, o yüzden yanlış alarm ile kaçırma ayrı sütunlarda.
• Qwen 25 temiz komutun hiçbirinde yanlış alarm vermedi ve 15 sırdan 2'sini kaçırdı.
• Laya yine daha hızlı değil (407 ms CPU'da, Qwen ağ üzerinden 299 ms).

Yayınlamadığımız sayı: noul sıkıştı

Aynı soruyu ilk olarak noul (ikili) alanı olarak sorduk ve Laya %37,5 aldı — tabanın ve rastgelenin altında. Bu sayıyı "Laya başarısız" diye yazmak yanlış olurdu: 40 örneğin 40'ına "sır var" demişti, ve yanına koyduğumuz kontrol kümesi — "merhaba nasılsın", "iki kere iki dört eder", "kedim balık sever" gibi sekiz tamamen zararsız metin — sekiz kere de "sır var" aldı. Girdiden bağımsız sabit cevap, görevin değil kurulumun ölçüldüğünün kanıtıdır.

Sıkışmanın sebebi talimattaki olumsuzlama görünüyor ("bayrak içermesi sır içermesi anlamına gelmez"); kısa talimat da, iki kriterli choice da bunu çözüyor. Çıkarılacak ders modelle ilgili değil: bariz negatiflerden oluşan bir kontrol kümesi, sekiz çağrıya mal olur ve yayınlanmaması gereken bir sayıyı yakalar.

İki modelin birlikte itiraz ettiği satır

Qwen'in kaçırdığı iki satırın ikisi de Laya'nın kaçırdıkları arasında, ve biri kendi etiketimizi sorgulatıyor:

aws configure set aws_access_key_id AKIAIOSFODNN7EXAMPLE

aws_access_key_id bir AWS erişim anahtarının açık yarısıdır — kimlik, kimlik bilgisi değil; gizli olan aws_secret_access_key. İki model de "sır yok" dedi ve bu okuma savunulabilir. Etiketi tahminleri gördükten sonra değiştirmedik — sonuca göre etiket düzeltmek, ölçümü sonuca uydurmaktır. İki okumayı da veriyoruz:

Sonuç iki okumada da aynı: Laya taban çizgisinin 5 puan üstünde, Qwen'in 27,5 puan gerisinde.

Güven skoru — ilk kümedeki tablonun aynısı

Medyanlar ilk kümeden daha net ayrışıyor, ama uçlar yine ayrışmıyor: yukarıdaki AWS satırını 0,98 güvenle kaçırdı, echo $API_KEY için 0,95 güvenle yanlış alarm verdi. Eşik koymadan önce kalibrasyon gerekir, ve bu iki kümede de aynı çıktı.

Kendi ucunuzu kurun

Yukarıdaki ölçümler pod'un içinde Python'dan yapıldı. Kendi uygulamanızın Laya'ya istek atması için şablon var: katalogdan Laya (karar modeli) deyip kurun, başka adım yok. Laya bir kütüphane ama paketin içinde bir HTTP sunucusu geliyor (pip install "laya[serve]" → laya-serve), yani araya bizim yazdığımız bir katman girmiyor.

Kurulum bittiğinde iki uç açık: GET /health ve POST /v1/systemone. Uç bir bearer anahtarıyla korunuyor (anahtar kurulumda üretilir, pod ayrıntı sayfasında LAYA_API_KEY olarak durur) — anahtarsız istek 401 alır. Asıl kullanım küme içinden: uygulama pod'unuz servis adıyla çağırır.

curl -s http://<pod-adi>-svc:8000/v1/systemone \
  -H "Authorization: Bearer $LAYA_API_KEY" \
  -H 'content-type: application/json' \
  -d '{
    "state": {"message": "Bakiye yukledim ama hesabima gecmedi."},
    "questions": {
      "konu": {"type": "choice", "instructions": "Talep hangi konuda?",
               "criteria": {"teknik": "pod, GPU, disk, ag",
                            "fatura": "odeme, bakiye, iade",
                            "hesap":  "giris, sifre, rol",
                            "diger":  "hicbiri"}},
      "acil": {"type": "noul", "instructions": "Zaman baskisi iceriyor mu?"}
    }
  }'

Cevap predict()'in döndürdüğünün aynısı: answers altında her soru için choice / noul ve olasılıklar, bir de usage. output_tokens 0 — modelin metin üretmemesi burada somut olarak görünüyor.

Varsayılan şekilde ölçülenler

Şablonun varsayılanı 2 vCPU / 4 GB (cpu.std-2), GPU yok. Gerçek bir pod'da ölçüldü:

Okunması gerekenler:

• Isıtma şart, ve şablon onu kendisi yapıyor. LAYA_PRELOAD=1 checkpoint'i belleğe alıyor ama ileri geçişi ısıtmıyor: ısıtılmamış ilk istek 94,8 saniye sürdü. Açılış betiği sunucu ayağa kalkınca bir kez sahte istek atıyor, böylece ilk gerçek istek 2,3 saniyeye iniyor. Bu olmasa ilk kullanıcı çalışmayan bir ucu yavaş bir uçtan ayırt edemezdi.
• Bu sayfanın üstündeki ~500 ms'lik gecikmeler bu şekilde alınmadı. Onlar çok daha büyük bir CPU kotasına sahip bir pod'da ölçüldü. 2 vCPU'da karar başına ~2 saniye bekleyin; daha hızlısını istiyorsanız CPU'yu artırın.
• Tek seferde tek çıkarım. Sunucu tek işçilik bir havuz ve bir kilit kullanıyor (paket kaynağında böyle), yani istekler sıraya giriyor. Eşzamanlı yük bekliyorsanız gecikme değil kuyruk ölçün.

Şablonun sizin için sabitlediği iki ayar

LAYA_MODELS=multilingual — varsayılan davranış üç checkpoint'i birden yüklemek. Checkpoint başına ~1,7 GB, üçü 4 GB'lik şekle sığmaz; üstelik bu sayfada ölçüldü: Türkçe istek zaten otomatik multilingual'a gidiyor ve typed-decisions ikili alanda daha kötü, üç kat da yavaş. İngilizce ağırlıklı bir yük için english yazın.

LAYA_THREADS — boş bırakılırsa modül hiç sınır koymuyor ve torch kendi varsayılanını kullanıyor. Bu platformda konteyner kendi kotasından çok daha fazla çekirdek görüyor: cpu.std-2'de kota 2 çekirdek ama nproc 32 diyor, yani varsayılan 16 kat aşırı abone olurdu — laya-serve'in kendi belgesi bunu "a large regression" diye yazıyor. Açılış betiği değeri pod'un gerçek cgroup kotasından türetiyor. Elle bir değer yazarsanız ona dokunulmuyor; fiziksel çekirdek sayısının üstüne çıkmayın.

Ölçümün sınırları

• Küme 40 örnek ve tek bir alandan (Gao Kaptan destek talepleri). Küçük bir kümede birkaç örneklik fark yüzdeye büyük yansır; bu sayıları kendi verinizde doğrulayın.
• Etiketler elle verildi ve sınır vakaları bilerek konuldu (örneğin "fatura gelmiyor, e-posta adresim yanlış olabilir" hem fatura hem hesap okunabilir).
• Laya CPU'da, Qwen GPU'da ölçüldü. Bu bir "aynı donanım" karşılaştırması değil; her iki modelin gerçekte konuşlandırılacağı biçim karşılaştırıldı.
• Qwen tarafında düşünme kapalı (enable_thinking: false). Açıkken model çıktı bütçesini düşünmeye harcayıp boş content döndürüyor; ilk koşumda 40 isteğin 21'i bu yüzden düştü ve o düşen istekler yanlışlıkla "yanlış cevap" sayılsaydı doğruluk sessizce yarılanırdı.
• İkinci küme de 40 örnek ve tek bir alandan (komut satırları). Aynı uyarı geçerli.
• İkinci kümede Laya'ya soru choice olarak soruldu, noul olarak değil; noul kurulumu girdiden bağımsız sabit cevap verdiği için ölçüm sayılmadı (yukarıda gerekçesiyle var).
• İkinci kümedeki bütün sırlar uydurma. Gerçek bir sır hiçbir ölçüme, hiçbir sayfaya girmez.