İlk Yanıt · Kısa Soru (GPU) — Qwen3 1.7B
Bu test cihazın kendi yapay zekâ yazılımıyla çalışan küçük bir dil modelinin kısa bir soruya ilk yanıtının ne kadar sürede başladığını ölçer (yardımcıya soru sormak gibi). Yapay zekâ uygulamaları için önemlidir. Düşük olan iyidir.
GrupDil ModeliKatmanÜreticiSüitGündelikMetrikİlk yanıt (ms) · düşük iyiReferans360 ms · kestirimÖrnek10TurstandartBellek1.500 MBPuanpuana girer
Nasıl ölçülür?
- 141 tokenlık sabit istem, her tekrarda boş önbellek; saat çağrıdan ilk tokena kadar. 10 tekrar.
- Her platformda aynı ağırlık dosyası: Qwen3'ün GGUF Q4_0 nicemlemesi, llama.cpp ile GPU'da (4.0 r6). Apple'da llama.cpp'nin Metal arka ucu, Windows'ta CUDA ya da Vulkan, Android'de Vulkan. Önceki revizyonlarda Apple aynı modelin 4 bitlik MLX nicemlemesini koşuyordu; MLX yolu uygulamada durur, puanlı kimlik üretmez.
- Arka uçlar aynı işle yarışır, kazanan o işte kullanılır: Apple'da Metal ile işlemci, Windows'ta CUDA ile Vulkan; ilk yanıtın soğuk başlangıcı (yükleme ağırlıklı) kendi işiyle ayrıca yarışır. Yalnız işlemciyle koşan yol ayrı testtir (llm.cpu.*) ve bu yarışın sonucu ne olursa olsun kendi bloğunda kalır.
- Tekrar sayıları her platformda aynıdır: ön doldurma, üretim ve uzun bağlamda 5 ölçüm; ilk yanıtta kısa soru 10, uzun belge 5, soğuk başlangıç 5 + 1 tekrar.
Platformlar ve motorlar
Motor, Toplayo'ya yüklenen sonuçların kendi etiketidir (cihaz ve GPU adları çıkarıldı). Her platformda bilinen en hızlı yol seçilir; iş ve çıktı aynı kalır.
| Platform | Motor | Ölçüm 4.0 |
|---|---|---|
| iPhone ve iPad | llama.cpp Metal v0.5.0 | ölçüldü · 1 cihaz |
| Mac | llama.cpp Metal v0.5.0 MLX | ölçüldü · 5 cihaz |
| Windows | llama.cpp CUDA v0.6.0 | ölçüldü · 3 cihaz |
| Android | llama.cpp CPU v0.6.0 | yalnız ön deneme turunda (Android 4.0 ölçümleri ertelendi) |
Hangi puana girer?
- Gündelik süitinin 10 üyesinden biridir: ağırlık 1 / 10 (süit puanındaki payı %10). Süit yalnız bütün üyeleri varsa verilir; bu test eksikse ya da "tamam" değilse Gündelik ve KAI Benchmark Skoru verilmez. Süit sayfası.
- Üretici katmanındadır: KAI Üretici'ye girer.
Neler değişti?
| Sürüm | Değişiklik |
|---|---|
| 3.3 R6 | Windows: CUDA ile Vulkan model başına yarışır, kazanan GPU testlerinde kullanılır (önce yalnız CUDA). |
| 4.0 | Windows bu kimlikleri Mac'in MLX testleriyle aynı işte koşar; adı platformda "(GPU)" diye geçer. |
| 4.0 r6 | Apple ve Android: MLX 4 bit yerine Windows'la aynı GGUF Q4_0 dosyaları, llama.cpp Metal (Apple) arka ucunda; Metal/CPU yarışı Windows'un CUDA/Vulkan yarışıyla aynı kural. Tekrar sayıları her platformda eşitlendi. Sütun adları Windows'unkilerle aynı ("… (GPU) — Qwen3 4B (GGUF Q4_0)"). Büyük model katmanı (llm.large.mlx.*) değişmedi. |
Referans ve puan
Puan = ölçülen ÷ referans × 1000; küçük değer iyi olduğu için oran ters çevrilir (referans ÷ ölçülen × 1000). Referans değer 360 ms; 1000 puan nominal termal durumdaki iPhone 15 Pro sınıfını temsil eder. Bu referans henüz kestirimdir ve kalibrasyon bekler; cihazlar arası oranlar bundan etkilenmez.
Platform. iPhone ve iPad, Mac, Windows, Android.