NPU Dönüştürücü
Bu test yapay zekâ işlemcisinin metin anlayan modelleri ne kadar hızlı çalıştırdığını ölçer (çeviri, arama, yazı önerileri gibi). Yapay zekâ uygulamaları için önemlidir.
GrupHam HesaplamaKatmanDonanımBlokNPUMetrikNPU dönüştürücü verimi (çıkarım/sn)Referans450 çıkarım/sn · kestirimÖrnek20TurstandartPuanpuana girer
Nasıl ölçülür?
- Altı katmanlı kodlayıcı: gizli boyut 384, 6 başlık, ileri besleme 1 536, dizi 128 token, çağrı başına 8 dizi; yaklaşık 10,6 milyon parametre.
- Model veri paketiyle iner ve cihazda bir kez derlenir; derleme zamanlanmaz. 1 ilk çıkarım, 3 ısınma, 20 örnek × 2 eşzamanlı çağrı. Bir çıkarım 128 tokenlık bir dizidir.
- Neden var: dikkat katmanları evrişim değil, matris çarpımı ve softmax yükü getirir.
- NPU'su olmayan PC'de "desteklenmiyor"; blok yok sayılır, KAI Donanım yedi blokla hesaplanır.
Platformlar ve motorlar
Motor, Toplayo'ya yüklenen sonuçların kendi etiketidir (cihaz ve GPU adları çıkarıldı). Her platformda bilinen en hızlı yol seçilir; iş ve çıktı aynı kalır.
| Platform | Motor | Ölçüm 4.0 |
|---|---|---|
| iPhone ve iPad | Core ML · ANE | ölçüldü · 1 cihaz |
| Mac | Core ML · ANE | ölçüldü · 5 cihaz |
| Windows | — | Bu bilgisayarda NPU yürütme sağlayıcısı yok |
| Android | Qualcomm QNN 0.24.0 · HTP FP16 | yalnız ön deneme turunda (Android 4.0 ölçümleri ertelendi) |
Hangi puana girer?
- Hiçbir süitte değildir: adı bir birimi ölçtüğü için süitlere girmez (birim adlı testler kendi biriminde kalır). KAI Benchmark Skoru'na katkısı yoktur.
- Donanım katmanındadır ve KAI Donanım'ın NPU bloğunun 3 üyesinden biridir (blok ağırlığı 1,0). Bu test eksikse ya da "tamam" değilse blok verilmez; blok verilmezse KAI Donanım da verilmez. KAI Donanım.
Referans ve puan
Puan = ölçülen ÷ referans × 1000. Referans değer 450 çıkarım/sn; 1000 puan nominal termal durumdaki iPhone 15 Pro sınıfını temsil eder. Bu referans henüz kestirimdir ve kalibrasyon bekler; cihazlar arası oranlar bundan etkilenmez.
Platform. iPhone ve iPad, Mac, Android.