Ön Doldurma (MLX / GPU) — Qwen3 32B
Bu test cihazın kendi yapay zekâ yazılımıyla çalışan çok büyük bir dil modelinin uzun bir metni okuma hızını ölçer (belge özetletmek, uzun bir soruyu yanıtlatmak gibi). Yapay zekâ uygulamaları için önemlidir. Yalnız en az 64 GB belleği olan cihazlarda çalışır.
GrupBüyük ModellerKatmanÜreticiMetrikÖn doldurma hızı (token/sn)Referans23 token/sn · kestirimÖrnek3Turbüyük modellerBellek65.536 MBPuanpuana girer
Nasıl ölçülür?
- Qwen3 32B, MLX 4 bit, yaklaşık 18,4 GB. Uzun istem 512'lik parçalarla işlenir.
- Windows'ta aynı kimlikler GPU'da llama.cpp ile koşar (Mac'in GGUF dosyaları, aynı depo ve sürüm); CUDA ile Vulkan model başına bir kez yarışır, Vulkan ancak en az %10 hızlıysa seçilir.
- Bellek kapısı birim başınadır: GPU testi modelin bütçesine (dosya × 1,08 + 1 000 MB) GPU'nun ayrılmış belleğine karşı bakar; sığmayan model "Model GPU belleğine sığmıyor" ile desteklenmiyor olur. Katmanların bir kısmını CPU'ya bırakmak bu testin işi değildir.
Platformlar ve motorlar
Motor, Toplayo'ya yüklenen sonuçların kendi etiketidir (cihaz ve GPU adları çıkarıldı). Her platformda bilinen en hızlı yol seçilir; iş ve çıktı aynı kalır.
| Platform | Motor | Ölçüm 4.0 |
|---|---|---|
| Mac | MLX | ölçüldü · 1 cihaz |
| Windows | llama.cpp CUDA v0.6.0 | ölçüldü · 1 cihaz |
Hangi puana girer?
- Hiçbir süitte değildir: büyük modeller turunda koştuğu için süitlere girmez. KAI Benchmark Skoru'na katkısı yoktur.
- Büyük modeller turunda koşar: KAI Büyük Model'e girer. Bir sınıfın (14B, 32B) puanı yalnız hem işlemci hem GPU parçaları varsa verilir; tek parça ayrı gösterilir.
Neler değişti?
| Sürüm | Değişiklik |
|---|---|
| 3.3 R9 | Windows büyük model turu. |
Referans ve puan
Puan = ölçülen ÷ referans × 1000. Referans değer 23 token/sn; 1000 puan nominal termal durumdaki iPhone 15 Pro sınıfını temsil eder. Bu referans henüz kestirimdir ve kalibrasyon bekler; cihazlar arası oranlar bundan etkilenmez.
Platform. Mac, Windows.