Unsloth Studio (MIG)

API'yi doğrudan kullanıyorsanız kaynak alanları cpu_limit / memory_limit adlarını taşır ve string'dir ("4", "24Gi"). Tanınmayan bir alan adı (örneğin memory_gb) sessizce yok sayılır ve varsayılan 1Gi uygulanır — sonuç, kurulum sırasında sebebi görünmeyen bir OOM olur.

Uzun kurulumları kalıcı diske yapın. Konteyner yeniden başlarsa (OOM, bellek değişikliği, düğüm bakımı) yazılabilir katman imajdan yeniden kurulur ve konteyner içine kurduğunuz her şey kaybolur. Kalıcı olması gerekiyorsa pod'a bir volume bağlayıp kurulumu oraya yapın.

Ayrıca: belleği (RAM) değiştirmek konteyneri yeniden başlatır — CPU değiştirmek başlatmaz. Belleği baştan yeterli verin.

--password vermezseniz Studio rastgele bir yönetici parolası üretir (~/.unsloth/studio/auth/.bootstrap_password) ve varsayılan parola değiştirilmezse 1 saat sonra kendini kapatır. Başlatırken parolayı vermek en kolayı.

Arama kutusuna yazdığınız metin listenin ilk satırında "Use as local path" olarak da görünür. Onu seçerseniz model adı düz metin olarak kaydedilir ve eğitim başlarken Hugging Face üzerinde bulunamaz. Depo kimliğini taşıyan satırı seçin — örneğin unsloth/qwen2.5-1.5b-instruct-unsloth-bnb-4bit.

"Checking dataset..." yazısında takılırsa sebebi veri setinin önbellekte yarım olmasıdır; başlat düğmesi o yazıda kalır ve hiç etkinleşmez. Veri setini bir kez tam indirin — pod içinden:

curl -s -X POST localhost:8888/api/hub/datasets/download \
  -H "Authorization: Bearer <studio-token>" -H 'Content-Type: application/json' \
  -d '{"repo_id":"yahma/alpaca-cleaned"}'

İndirme bitince Run preview anında Ready olur. Testimizde takılan formu çalışır hale getiren tek fark buydu.

MIG diliminde GPU Monitor panelinin iki kutusu boş kalır. Ekran görüntüsündeki gibi Utilization ve VRAM iki tire gösterir; sıcaklık ve güç okunur (51 °C, 136/600 W). Sebep Gao Kaptan değil: nvidia-smi --query-gpu=... bir MIG diliminde bu alanlar için [N/A] ve [Insufficient Permissions] döndürür.

Ama düz nvidia-smi çıktısındaki MIG tablosu dilimin belleğini verir (ör. 30241MiB / 71424MiB). Yani “MIG'de bellek görünmez” demek eksik olur — sorgu biçimi görmez, tablo görür. Görünen sıcaklık ve güç ise sizin kendi GPU örneğinize aittir — kartın geneline değil. (İki dilimden aynı anda ölçtük: boştaki konteyner 129 W okurken çalışan 401 W okuyordu.) Kartın toplam yükünü görmek için host üzerinde nvidia-smi gerekir.

İkisi arasında kayda değer bir fark yok — ve bu beklenen sonuç. Temel model zaten talimat ayarlı bir Qwen2.5-Instruct; alpaca veri seti de tam olarak onun hâlihazırda yaptığı işi öğretiyor. 20 adımlık bir LoRA, modelin zaten bildiği bir davranışı görünür şekilde değiştirmez.

İnce ayarın işe yaradığını görmek istiyorsanız, temel modelin bilmediği bir şey seçin: kendi alanınıza ait terminoloji, kurum içi bir yazım biçimi, sabit bir çıktı şeması ya da başka bir dil. Bir de adım sayısını gerçekçi tutun — birkaç yüz ila birkaç bin adım. Yukarıdaki 20 adım, akışın çalıştığını doğrulamak içindir, model kalitesini değiştirmek için değil.

Eğitilmiş modelin biraz daha yavaş olması (52,4'e karşı 58,4 tok/sn) normaldir: LoRA adaptörü her katmanda ek çarpım getirir.