Gömme ve Vektör Arama
Bu test metinleri anlamına göre aranabilir hâle getirme hızını ölçer (notlarda ve belgelerde anlamca arama gibi). Yapay zekâ uygulamaları ve belgeyle çalışanlar için önemlidir.
GrupDil ModeliKatmanPlatformSüitOfis, LLMMetrikTek akış hızı (cümle/sn)Referans90 cümle/sn · kestirimÖrnek2TurstandartPuanpuana girer
Nasıl ölçülür?
- 400 cümle gömülür ve kosinüs benzerliğiyle aranır; puan tek akış hızıdır (cümle/sn).
- Her platformda aynı model: Universal Sentence Encoder (MediaPipe text_embedder, float32/1; Android'in sabitlediği dosya). Apple'da modelin Core ML'e çevrilmiş hâli ve Swift'e taşınmış SentencePiece belirteçleyicisi, Windows'ta ONNX Runtime, Android'de MediaPipe.
- Birim denemesi fp16/fp32 × Neural Engine/GPU/CPU adaylarını dener; referans kosinüsü 0,999'un altında kalan aday elenir, kalanların en hızlısı ölçülür. Motor etiketi Core ML'in gerçekten kullandığı hesap planından yazılır (4.0 r6): M5 çiplerde model Neural Engine'e gitmiyor, iş işlemcide koşuyor ve etiket bunu söyler.
Aynı çıktı
Ölçülen iş her platformda aynıdır; aşağıdaki denetimi geçmeyen sonuç tabloya girmez ya da işaretlenir.
- Korpusun belirteçleri MediaPipe'ınkiyle bir özet üzerinden, ilk cümlelerin vektörleri ONNX Runtime referansıyla denetlenir; referans kosinüsü ≥ 0,999.
Platformlar ve motorlar
Motor, Toplayo'ya yüklenen sonuçların kendi etiketidir (cihaz ve GPU adları çıkarıldı). Her platformda bilinen en hızlı yol seçilir; iş ve çıktı aynı kalır.
| Platform | Motor | Ölçüm 4.0 |
|---|---|---|
| iPhone ve iPad | Core ML · CPU · fp16 · Universal Sentence Encoder | ölçüldü · 1 cihaz |
| Mac | Core ML · GPU · fp16 · Universal Sentence Encoder Core ML · Neural Engine · fp16 · Universal Sentence Encoder | ölçüldü · 5 cihaz |
| Windows | ONNX Runtime 1.24.4 · TensorRT-RTX · Universal Sentence Encoder | ölçüldü · 3 cihaz |
| Android | — | yalnız ön deneme turunda (Android 4.0 ölçümleri ertelendi) |
Hangi puana girer?
- Ofis süitinin 7 üyesinden biridir: ağırlık 1 / 7 (süit puanındaki payı %14,3). Süit yalnız bütün üyeleri varsa verilir; bu test eksikse ya da "tamam" değilse Ofis ve KAI Benchmark Skoru verilmez. Süit sayfası.
- LLM süitinin 9 üyesinden biridir: ağırlık 1 / 9 (süit puanındaki payı %11,1). Süit yalnız bütün üyeleri varsa verilir; bu test eksikse ya da "tamam" değilse LLM ve KAI Benchmark Skoru verilmez. Süit sayfası.
- Platform katmanındadır: KAI Platform'a girer.
Neler değişti?
| Sürüm | Değişiklik |
|---|---|
| 4.0 r4 | Apple: işletim sisteminin NLContextualEmbedding modeli yerine Windows ve Android'in Universal Sentence Encoder'ı (M5 Ultra 127 → 763 cümle/sn). Metrik adları ve referans değişmedi. |
| 4.0 r6 | Apple: motor etiketi gerçek hesap planından (M5'te CPU). Açık konu: M5 çiplerde model Neural Engine'e gitmiyor (maske yolu); aynı iş, aynı model, işlemcide. |
Referans ve puan
Puan = ölçülen ÷ referans × 1000. Referans değer 90 cümle/sn; 1000 puan nominal termal durumdaki iPhone 15 Pro sınıfını temsil eder. Bu referans henüz kestirimdir ve kalibrasyon bekler; cihazlar arası oranlar bundan etkilenmez.
Platform. iPhone ve iPad, Mac, Windows, Android.