Sistem Modeli İlk Yanıt · Kısa Soru
Bu test işletim sisteminin kendi dil modelinin kısa bir soruya ilk yanıtının ne kadar sürede başladığını ölçer (yardımcıya soru sormak gibi). Gündelik kullanımda hissedilir. Düşük olan iyidir.
GrupDil ModeliKatmanPlatformMetrikİlk yanıt (ms) · düşük iyiReferans600 ms · kestirimÖrnek10TurstandartPuanbilgi
Nasıl ölçülür?
- Kısa istem, 10 tekrar. Bilgi amaçlıdır.
Platformlar ve motorlar
Motor, Toplayo'ya yüklenen sonuçların kendi etiketidir (cihaz ve GPU adları çıkarıldı). Her platformda bilinen en hızlı yol seçilir; iş ve çıktı aynı kalır.
| Platform | Motor | Ölçüm 4.0 |
|---|---|---|
| iPhone ve iPad | Foundation Models | ölçüldü · 1 cihaz |
| Mac | Foundation Models | ölçüldü · 5 cihaz |
Hangi puana girer?
- Hiçbir süitte değildir: her platformda koşamadığı için süitlere girmez. KAI Benchmark Skoru'na katkısı yoktur.
- Platform katmanında, bilgi amaçlıdır: KAI Platform'a girmez.
Referans ve puan
Puan = ölçülen ÷ referans × 1000; küçük değer iyi olduğu için oran ters çevrilir (referans ÷ ölçülen × 1000). Referans değer 600 ms; 1000 puan nominal termal durumdaki iPhone 15 Pro sınıfını temsil eder. Bu referans henüz kestirimdir ve kalibrasyon bekler; cihazlar arası oranlar bundan etkilenmez.
Platform. iPhone ve iPad, Mac.