Sistem Modeli İlk Yanıt · Uzun Belge
Bu test işletim sisteminin kendi dil modelinin uzun bir belge verildiğinde ilk yanıtının ne kadar sürede başladığını ölçer (belge özetletmek gibi). Yapay zekâ uygulamaları için önemlidir. Düşük olan iyidir.
GrupDil ModeliKatmanPlatformMetrikİlk yanıt (ms) · düşük iyiReferans6 000 ms · kestirimÖrnek5TurstandartPuanbilgi
Nasıl ölçülür?
- Uzun belge istemi, 5 tekrar. Bilgi amaçlıdır.
Platformlar ve motorlar
Motor, Toplayo'ya yüklenen sonuçların kendi etiketidir (cihaz ve GPU adları çıkarıldı). Her platformda bilinen en hızlı yol seçilir; iş ve çıktı aynı kalır.
| Platform | Motor | Ölçüm 4.0 |
|---|---|---|
| iPhone ve iPad | Foundation Models | ölçüldü · 1 cihaz |
| Mac | Foundation Models | ölçüldü · 5 cihaz |
Hangi puana girer?
- Hiçbir süitte değildir: her platformda koşamadığı için süitlere girmez. KAI Benchmark Skoru'na katkısı yoktur.
- Platform katmanında, bilgi amaçlıdır: KAI Platform'a girmez.
Referans ve puan
Puan = ölçülen ÷ referans × 1000; küçük değer iyi olduğu için oran ters çevrilir (referans ÷ ölçülen × 1000). Referans değer 6 000 ms; 1000 puan nominal termal durumdaki iPhone 15 Pro sınıfını temsil eder. Bu referans henüz kestirimdir ve kalibrasyon bekler; cihazlar arası oranlar bundan etkilenmez.
Platform. iPhone ve iPad, Mac.