Token Üretimi (MLX / GPU) — Qwen3 14B
Bu test cihazın kendi yapay zekâ yazılımıyla çalışan büyük bir dil modelinin yanıt yazma hızını ölçer (sohbet, metin yazdırma, özetleme gibi). Yapay zekâ uygulamaları için önemlidir. Yalnız en az 24 GB belleği olan cihazlarda çalışır.
GrupBüyük ModellerKatmanÜreticiMetrikÜretim hızı (token/sn)Referans5,1 token/sn · kestirimÖrnek3Turbüyük modellerBellek24.576 MBPuanpuana girer
Nasıl ölçülür?
- Qwen3 14B, MLX 4 bit, yaklaşık 8,3 GB. Üretim hızı bellek bant genişliğiyle sınırlıdır: her token için bütün ağırlıklar okunur.
- Windows'ta aynı kimlikler GPU'da llama.cpp ile koşar (Mac'in GGUF dosyaları, aynı depo ve sürüm); CUDA ile Vulkan model başına bir kez yarışır, Vulkan ancak en az %10 hızlıysa seçilir.
- Bellek kapısı birim başınadır: GPU testi modelin bütçesine (dosya × 1,08 + 1 000 MB) GPU'nun ayrılmış belleğine karşı bakar; sığmayan model "Model GPU belleğine sığmıyor" ile desteklenmiyor olur. Katmanların bir kısmını CPU'ya bırakmak bu testin işi değildir.
Platformlar ve motorlar
Motor, Toplayo'ya yüklenen sonuçların kendi etiketidir (cihaz ve GPU adları çıkarıldı). Her platformda bilinen en hızlı yol seçilir; iş ve çıktı aynı kalır.
| Platform | Motor | Ölçüm 4.0 |
|---|---|---|
| Mac | MLX | ölçüldü · 3 cihaz |
| Windows | llama.cpp CUDA v0.6.0 | ölçüldü · 3 cihaz |
Hangi puana girer?
- Hiçbir süitte değildir: büyük modeller turunda koştuğu için süitlere girmez. KAI Benchmark Skoru'na katkısı yoktur.
- Büyük modeller turunda koşar: KAI Büyük Model'e girer. Bir sınıfın (14B, 32B) puanı yalnız hem işlemci hem GPU parçaları varsa verilir; tek parça ayrı gösterilir.
Neler değişti?
| Sürüm | Değişiklik |
|---|---|
| 3.3 R9 | Windows büyük model turu. |
Referans ve puan
Puan = ölçülen ÷ referans × 1000. Referans değer 5,1 token/sn; 1000 puan nominal termal durumdaki iPhone 15 Pro sınıfını temsil eder. Bu referans henüz kestirimdir ve kalibrasyon bekler; cihazlar arası oranlar bundan etkilenmez.
Platform. Mac, Windows.