Uzun Bağlamda Üretim (GPU) — Qwen3 1.7B
Bu test cihazın kendi yapay zekâ yazılımıyla çalışan küçük bir dil modelinin uzun bir sohbetin ardından yanıt yazma hızını ölçer (sohbet uzadıkça yavaşlama gibi). Yapay zekâ uygulamaları için önemlidir.
GrupDil ModeliKatmanÜreticiSüitLLMMetrikUzun bağlam hızı (token/sn)Referans36 token/snÖrnek2TurstandartBellek2.000 MBPuanpuana girer
Nasıl ölçülür?
- Yaklaşık 4 000 tokenlık bağlamın ardından 128 token üretim; puan uzun bağlamdaki üretim hızıdır.
- Her platformda aynı ağırlık dosyası: Qwen3'ün GGUF Q4_0 nicemlemesi, llama.cpp ile GPU'da (4.0 r6). Apple'da llama.cpp'nin Metal arka ucu, Windows'ta CUDA ya da Vulkan, Android'de Vulkan. Önceki revizyonlarda Apple aynı modelin 4 bitlik MLX nicemlemesini koşuyordu; MLX yolu uygulamada durur, puanlı kimlik üretmez.
- Arka uçlar aynı işle yarışır, kazanan o işte kullanılır: Apple'da Metal ile işlemci, Windows'ta CUDA ile Vulkan; ilk yanıtın soğuk başlangıcı (yükleme ağırlıklı) kendi işiyle ayrıca yarışır. Yalnız işlemciyle koşan yol ayrı testtir (llm.cpu.*) ve bu yarışın sonucu ne olursa olsun kendi bloğunda kalır.
- Tekrar sayıları her platformda aynıdır: ön doldurma, üretim ve uzun bağlamda 5 ölçüm; ilk yanıtta kısa soru 10, uzun belge 5, soğuk başlangıç 5 + 1 tekrar.
Platformlar ve motorlar
Motor, Toplayo'ya yüklenen sonuçların kendi etiketidir (cihaz ve GPU adları çıkarıldı). Her platformda bilinen en hızlı yol seçilir; iş ve çıktı aynı kalır.
| Platform | Motor | Ölçüm 4.0 |
|---|---|---|
| iPhone ve iPad | llama.cpp Metal v0.5.0 | ölçüldü · 1 cihaz |
| Mac | llama.cpp Metal v0.5.0 MLX | ölçüldü · 5 cihaz |
| Windows | llama.cpp CUDA v0.6.0 | ölçüldü · 3 cihaz |
| Android | llama.cpp CPU v0.6.0 | yalnız ön deneme turunda (Android 4.0 ölçümleri ertelendi) |
Hangi puana girer?
- LLM süitinin 9 üyesinden biridir: ağırlık 1 / 9 (süit puanındaki payı %11,1). Süit yalnız bütün üyeleri varsa verilir; bu test eksikse ya da "tamam" değilse LLM ve KAI Benchmark Skoru verilmez. Süit sayfası.
- Üretici katmanındadır: KAI Üretici'ye girer.
Neler değişti?
| Sürüm | Değişiklik |
|---|---|
| 3.3 R6 | Windows: CUDA ile Vulkan model başına yarışır, kazanan GPU testlerinde kullanılır (önce yalnız CUDA). |
| 4.0 | Windows bu kimlikleri Mac'in MLX testleriyle aynı işte koşar; adı platformda "(GPU)" diye geçer. |
| 4.0 r6 | Apple ve Android: MLX 4 bit yerine Windows'la aynı GGUF Q4_0 dosyaları, llama.cpp Metal (Apple) arka ucunda; Metal/CPU yarışı Windows'un CUDA/Vulkan yarışıyla aynı kural. Tekrar sayıları her platformda eşitlendi. Sütun adları Windows'unkilerle aynı ("… (GPU) — Qwen3 4B (GGUF Q4_0)"). Büyük model katmanı (llm.large.mlx.*) değişmedi. |
Referans ve puan
Puan = ölçülen ÷ referans × 1000. Referans değer 36 token/sn; 1000 puan nominal termal durumdaki iPhone 15 Pro sınıfını temsil eder.
Platform. iPhone ve iPad, Mac, Windows, Android.