İlk Yanıt · Uzun Belge (MLX / GPU) — Qwen3 14B
Bu test cihazın kendi yapay zekâ yazılımıyla çalışan büyük bir dil modelinin uzun bir belge verildiğinde ilk yanıtının ne kadar sürede başladığını ölçer (belge özetletmek gibi). Yapay zekâ uygulamaları için önemlidir. Düşük olan iyidir. Yalnız en az 24 GB belleği olan cihazlarda çalışır.
GrupBüyük ModellerKatmanÜreticiMetrikİlk yanıt (ms) · düşük iyiReferans38 000 ms · kestirimÖrnek3Turbüyük modellerBellek24.576 MBPuanpuana girer
Nasıl ölçülür?
- Qwen3 14B, MLX 4 bit, yaklaşık 8,3 GB. 1 928 tokenlık belge istemi.
- Windows'ta aynı kimlikler GPU'da llama.cpp ile koşar (Mac'in GGUF dosyaları, aynı depo ve sürüm); CUDA ile Vulkan model başına bir kez yarışır, Vulkan ancak en az %10 hızlıysa seçilir.
- Bellek kapısı birim başınadır: GPU testi modelin bütçesine (dosya × 1,08 + 1 000 MB) GPU'nun ayrılmış belleğine karşı bakar; sığmayan model "Model GPU belleğine sığmıyor" ile desteklenmiyor olur. Katmanların bir kısmını CPU'ya bırakmak bu testin işi değildir.
Platformlar ve motorlar
Motor, Toplayo'ya yüklenen sonuçların kendi etiketidir (cihaz ve GPU adları çıkarıldı). Her platformda bilinen en hızlı yol seçilir; iş ve çıktı aynı kalır.
| Platform | Motor | Ölçüm 4.0 |
|---|---|---|
| Mac | MLX | ölçüldü · 3 cihaz |
| Windows | llama.cpp CUDA v0.6.0 | ölçüldü · 3 cihaz |
Hangi puana girer?
- Hiçbir süitte değildir: büyük modeller turunda koştuğu için süitlere girmez. KAI Benchmark Skoru'na katkısı yoktur.
- Büyük modeller turunda koşar: KAI Büyük Model'e girer. Bir sınıfın (14B, 32B) puanı yalnız hem işlemci hem GPU parçaları varsa verilir; tek parça ayrı gösterilir.
Neler değişti?
| Sürüm | Değişiklik |
|---|---|
| 3.3 R9 | Windows büyük model turu. |
Referans ve puan
Puan = ölçülen ÷ referans × 1000; küçük değer iyi olduğu için oran ters çevrilir (referans ÷ ölçülen × 1000). Referans değer 38 000 ms; 1000 puan nominal termal durumdaki iPhone 15 Pro sınıfını temsil eder. Bu referans henüz kestirimdir ve kalibrasyon bekler; cihazlar arası oranlar bundan etkilenmez.
Platform. Mac, Windows.