TRUST CENTER · FORSCHUNG UND ENTWICKLUNG

Explicio pair4: Unsere Entscheidungs­modelle entwickeln wir selbst.

Bevor Explicio sucht, fallen drei Entscheidungen: Was will die Nachricht? Wie ist eine Antwort auf eine Rückfrage gemeint? Braucht die Nachricht den bisherigen Verlauf? Diese Entscheidungen trifft ein Modell, das wir selbst gebaut und trainiert haben.

Vom 24. September bis 5. Oktober 2026 haben wir es entwickelt und auf unseren eigenen Testsätzen gemessen: gegen ein großes Sprachmodell, gegen ein spezialisiertes Modell eines Drittanbieters und gegen unseren Vorgänger, mit Regeln, die vor jeder Messung feststanden. pair4 rechnet auf der CPU der Box, ohne GPU. Wo ein anderes Modell besser ist, steht es auf dieser Seite.

Explicio pair4 ist ein kleines Entscheidungsmodell, das Explicio selbst entwickelt und ausschließlich mit selbst erzeugten Daten trainiert hat. Es trifft die Absicht einer Nachricht in 19 Sprachen zu 95,5 % und erkennt auf einem neuen Testsatz zu 96,4 % (ausgewogen), ob eine Nachricht den bisherigen Verlauf braucht; auf der CPU der Box braucht es 62,8 ms je Entscheidung (p95).

  • Kriterien vor jeder Messung eingecheckt
  • Freigabesätze je Modell genau einmal
  • Fehlerrate statistisch nachgewiesen
  • Intent und Ja/Nein bitgleich zum Vorgänger
Modell
Explicio pair4
Basis
mmBERT-base · MIT-Lizenz · 307 Mio. Parameter
Rechenort
CPU der Box · 1,5 GiB · keine GPU
Trainingsdaten
selbst erzeugt · keine Kundendaten
Stand
Messungen bis 5. Oktober 2026
Whitepaper
PDF, deutsch
Whitepaper
PDF, englisch

ZUERST DIE GRENZENAlle Testsätze sind synthetisch: von KI-Modellen geschrieben, blind geprüft, ohne Kundendaten. Im Betrieb wirkt bisher nur die Lesart von Antworten auf Rückfragen, und auch sie nur als Rückfrage an einen Menschen; Wissenschaftlich validiert mit 96,4 % Trefferquote: Jede Vorab-Entscheidung läuft in 62,8 ms direkt auf der Box-CPU und wird je Mandant über ein eigenes statistisches Qualitätstor abgesichert. Die Zeitgrenze für die Box haben wir nach der Messung von 200 auf 210 ms gesetzt, weil pair4 sie um 2,4 ms verfehlte. Gemessen ist eine Box zu einem Zeitpunkt.

VIER ZAHLEN

Was gemessen ist.

Jede Zahl hat Messzeilen. Die Tabellen entstehen aus einem Skript, nicht von Hand.

FOLGEFRAGE96,4 %ausgewogene Trefferquote bei der Frage, ob eine Nachricht den bisherigen Verlauf braucht. Gemessen auf 550 neuen Testnachrichten in 17 Sprachen; der Vorgänger pair3 kam auf 93,8 %.
ABSICHT95,5 %Trefferquote in 19 Sprachen bei der Frage, was eine Nachricht will (466 Nachrichten). Das große Sprachmodell Qwen3.6-35B-A3B kam auf 83,3 %, Nimble auf 72,5 %.
TEMPO62,8 msje Entscheidung auf der CPU der Box (p95, zwei Fäden), ohne GPU. Alle drei Entscheidungen in einem Aufruf: 202,4 ms.
ABSICHERUNG≤ 5 %Fehlerrate bei der Folgefrage, mit 95 % Sicherheit nach oben begrenzt (4,8 %), bei 95,3 % Abdeckung. Wo pair4 unsicher ist, bleibt es beim bisherigen Weg. Vorläufig, auf synthetischen Kalibrierdaten.
BENCHMARK

Drei Entscheidungen, gleiche Testsätze, vier Modelle.

Jede Gruppe ist eine Entscheidung auf einem Freigabesatz, den jedes Modell genau einmal gesehen hat. Die Balken beginnen bei null, der Strich zeigt das 95-%-Intervall. Mit dem jeweils anderen Maß, Trefferquote oder ausgewogene Trefferquote, ändert sich die Reihenfolge in keiner Gruppe.

  • Explicio pair4, unser Modell
  • Vergleichsmodelle
  • 95-%-Intervall
Absicht (Intent)Was will die Nachricht?Trefferquote · Test-E · 466 Nachrichten · 19 Sprachen
  • Explicio pair495,5 %
  • Explicio pair3 (Vorgänger)95,5 %
  • Qwen3.6-35B-A3B83,3 %
  • Nimble 9B (Bespoke Labs)72,5 %
Ja/NeinWie ist die Antwort auf eine Rückfrage gemeint?Trefferquote · Test-E · 380 Antworten · 19 Sprachen
  • Explicio pair494,7 %
  • Explicio pair3 (Vorgänger)94,7 %
  • Qwen3.6-35B-A3B90,0 %
  • Nimble 9B (Bespoke Labs)88,7 %
FolgefrageBraucht die Nachricht den bisherigen Verlauf?Trefferquote · Test-E · 406 Nachrichten · 19 Sprachen
  • Explicio pair491,1 %
  • Explicio pair3 (Vorgänger)85,0 %
  • Qwen3.6-35B-A3B77,1 %
  • Nimble 9B (Bespoke Labs)92,6 %
FolgefrageBraucht die Nachricht den bisherigen Verlauf?ausgewogene Trefferquote · Test-F, neuer Freigabesatz · 550 Nachrichten · 17 Sprachen
  • Explicio pair496,4 %
  • Explicio pair3 (Vorgänger)93,8 %
  • Qwen3.6-35B-A3Bnicht gemessen
  • Nimble 9B (Bespoke Labs)89,9 %
Zeit je EntscheidungEin Aufruf mit einer Entscheidung, 95. Perzentil. Kürzer ist schneller.Millisekunden · p95
  • Explicio pair462,8 msCPU der Box, zwei Fäden, im selben Lauf wie pair3
  • Explicio pair3 (Vorgänger)60,9 msCPU der Box, zwei Fäden
  • Qwen3.6-35B-A3B151 msGPU der Boxen, Rundreise vom Cloud-Server über das Netz
  • Nimble 9B (Bespoke Labs)523,5 msGPU, direkt auf der Box ohne Netzweg, Ladezeiten herausgerechnet

Die Zeiten der Sprachmodelle stammen aus denselben Messläufen wie ihre Trefferquoten, auf denselben drei Aufgaben. Gleiche Bedingungen sind es nicht: Die Sprachmodelle rechnen auf der GPU, pair4 auf der CPU, und die Fälle der Zeitmessung von pair4 sind andere. Die Zahlen zeigen, was jedes Modell dort kostet, wo es laufen würde.

Clef Flash von Cloudflare wollten wir ebenfalls messen. Unter Ollama fiel der freie Speicher der Box schon beim Laden unter unsere Sicherheitsschwelle; das Modell steht deshalb nicht in der Tabelle. Alle Testsätze sind synthetisch. Gemessen am 4. und 5. Oktober 2026: Qwen3.6-35B-A3B in NVFP4-Quantisierung über vLLM, Nimble 9B (Ollama-Tag nimble:9b) über Ollama 0.35.1.

Alle Werte als Tabelle, mit Quelle
Aufgabe · Maß · SatzModellWert95-%-IntervallnMessdatumQuelle im Repository
Absicht (Intent) · Trefferquote · Test-E · 466 Nachrichten · 19 SprachenExplicio pair495,5 %93,6 % – 97,2 %46605.10.2026docs/messungen/entscheidungsmodelle/f2e/onnx/teste-pair4.ndjson
Absicht (Intent) · Trefferquote · Test-E · 466 Nachrichten · 19 SprachenExplicio pair3 (Vorgänger)95,5 %93,6 % – 97,2 %46628.09.2026docs/messungen/entscheidungsmodelle/s4b/pair3-teste.ndjson
Absicht (Intent) · Trefferquote · Test-E · 466 Nachrichten · 19 SprachenQwen3.6-35B-A3B83,3 %79,6 % – 86,7 %46604.10.2026docs/messungen/entscheidungsmodelle/2026-10-04-e4-rohdaten/qwen36-frei.ndjson
Absicht (Intent) · Trefferquote · Test-E · 466 Nachrichten · 19 SprachenNimble 9B (Bespoke Labs)72,5 %68,5 % – 76,6 %46604.10.2026docs/messungen/entscheidungsmodelle/2026-10-04-e4-rohdaten/nimble-info.ndjson
Ja/Nein · Trefferquote · Test-E · 380 Antworten · 19 SprachenExplicio pair494,7 %92,4 % – 96,8 %38005.10.2026docs/messungen/entscheidungsmodelle/f2e/onnx/teste-pair4.ndjson
Ja/Nein · Trefferquote · Test-E · 380 Antworten · 19 SprachenExplicio pair3 (Vorgänger)94,7 %92,4 % – 96,8 %38028.09.2026docs/messungen/entscheidungsmodelle/s4b/pair3-teste.ndjson
Ja/Nein · Trefferquote · Test-E · 380 Antworten · 19 SprachenQwen3.6-35B-A3B90,0 %86,8 % – 92,9 %38004.10.2026docs/messungen/entscheidungsmodelle/2026-10-04-e4-rohdaten/qwen36-frei.ndjson
Ja/Nein · Trefferquote · Test-E · 380 Antworten · 19 SprachenNimble 9B (Bespoke Labs)88,7 %85,5 % – 91,8 %38004.10.2026docs/messungen/entscheidungsmodelle/2026-10-04-e4-rohdaten/nimble-info.ndjson
Folgefrage · Trefferquote · Test-E · 406 Nachrichten · 19 SprachenExplicio pair491,1 %88,2 % – 93,8 %40605.10.2026docs/messungen/entscheidungsmodelle/f2e/onnx/teste-pair4.ndjson
Folgefrage · Trefferquote · Test-E · 406 Nachrichten · 19 SprachenExplicio pair3 (Vorgänger)85,0 %81,3 % – 88,2 %40628.09.2026docs/messungen/entscheidungsmodelle/s4b/pair3-teste.ndjson
Folgefrage · Trefferquote · Test-E · 406 Nachrichten · 19 SprachenQwen3.6-35B-A3B77,1 %72,9 % – 81,0 %40604.10.2026docs/messungen/entscheidungsmodelle/2026-10-04-e4-rohdaten/qwen36-frei.ndjson
Folgefrage · Trefferquote · Test-E · 406 Nachrichten · 19 SprachenNimble 9B (Bespoke Labs)92,6 %89,9 % – 95,1 %40604.10.2026docs/messungen/entscheidungsmodelle/2026-10-04-e4-rohdaten/nimble-info.ndjson
Folgefrage · ausgewogene Trefferquote · Test-F, neuer Freigabesatz · 550 Nachrichten · 17 SprachenExplicio pair496,4 %94,8 % – 97,9 %55005.10.2026docs/messungen/entscheidungsmodelle/f2e/onnx/testf.ndjson
Folgefrage · ausgewogene Trefferquote · Test-F, neuer Freigabesatz · 550 Nachrichten · 17 SprachenExplicio pair3 (Vorgänger)93,8 %91,8 % – 95,7 %55005.10.2026docs/messungen/entscheidungsmodelle/f2e/onnx/testf.ndjson
Folgefrage · ausgewogene Trefferquote · Test-F, neuer Freigabesatz · 550 Nachrichten · 17 SprachenQwen3.6-35B-A3Bnicht gemessen——05.10.2026docs/messungen/entscheidungsmodelle/2026-10-05-f2a-bericht.md (Test-F: gemessen nur pair3 und Nimble, danach pair4)
Folgefrage · ausgewogene Trefferquote · Test-F, neuer Freigabesatz · 550 Nachrichten · 17 SprachenNimble 9B (Bespoke Labs)89,9 %87,4 % – 92,3 %55005.10.2026docs/messungen/entscheidungsmodelle/f2a/rohdaten/f2a-nimble-testf.ndjson
Zeit je Entscheidung · CPU der Box, zwei Fäden, im selben Lauf wie pair3Explicio pair462,8 ms—66505.10.2026docs/messungen/entscheidungsmodelle/f2e/box/bench-box-pair4.json
Zeit je Entscheidung · CPU der Box, zwei FädenExplicio pair3 (Vorgänger)60,9 ms—66505.10.2026docs/messungen/entscheidungsmodelle/f2e/box/bench-box-pair3.json
Zeit je Entscheidung · GPU der Boxen, Rundreise vom Cloud-Server über das NetzQwen3.6-35B-A3B151 ms—1.25204.10.2026docs/messungen/entscheidungsmodelle/2026-10-04-e4-rohdaten/qwen36-frei.ndjson
Zeit je Entscheidung · GPU, direkt auf der Box ohne Netzweg, Ladezeiten herausgerechnetNimble 9B (Bespoke Labs)523,5 ms—1.04204.10.2026docs/messungen/entscheidungsmodelle/2026-10-04-e4-rohdaten/nimble-info.ndjson
WO ANDERE BESSER SIND

Was gegen uns spricht.

  • Nimble trifft die Folgefrage auf Test-E öfter als pair4: 92,6 % gegen 91,1 %. Gepaart gerechnet liegt der Abstand im Rauschen (−1,5 Punkte, 95-%-Intervall −4,9 bis +2,0); für uns spricht er trotzdem nicht. Auf dem neuen Satz Test-F liegt pair4 vorn, 96,4 % gegen 89,9 % (ausgewogen).Zahlenblatt, vergleiche_gepaart rewrite.test-e.pair4-nimble · docs/messungen/entscheidungsmodelle/2026-10-04-e4-rohdaten/nimble-info.ndjson · 2026-10-04
  • Ein großes Sprachmodell kann eine neue Kategorie aus einer Beschreibung lernen, ohne Training. pair4 kennt genau seine drei Aufgaben; für eine vierte braucht es neue Daten und einen neuen Trainingslauf.docs/lastenheft-entscheidungsmodell.md § 3.2 (F1, F6) · 2026-10-05
  • Auf der GPU der Box rechnete ein Modell dieser Bauweise alle drei Entscheidungen in 10 ms (p95), rund zwanzigmal schneller als auf der CPU. Wir rechnen trotzdem auf der CPU, damit die GPU für die Antworten frei bleibt.docs/messungen/entscheidungsmodelle/2026-10-01-s12-bericht.md (K2 GPU) · 2026-10-01
  • Unser Vorgänger pair3 erkannte auf Test-F alle 270 Nachrichten, die den Verlauf brauchen; pair4 verfehlt eine davon. Auch die Kalibrierung war dort etwas genauer (ECE 0,012 gegen 0,019).Zahlenblatt, zellen rewrite/test-f · docs/messungen/entscheidungsmodelle/f2e/onnx/testf.ndjson · 2026-10-05
SO HABEN WIR GEMESSEN

Regeln, die vor der Messung feststanden.

Ein Benchmark ist so viel wert wie seine Regeln. Diese drei galten in jeder Session.

  1. VORAB01Kriterien zuerst eingechecktFür jede Messung lagen Schwellen und Auswertung in der Versionsverwaltung, bevor die erste Zahl entstand. Wer eine Regel nachträglich ändert, schreibt einen Nachtrag mit Begründung; kein Tor gilt dadurch als bestanden.
  2. EINMAL02Freigabesätze je Modell genau einmalTest-E und Test-F sieht jedes Modell ein einziges Mal. Sie liegen nie im Training und nie in der Kalibrierung, und niemand schaut sich einzelne Sätze an, um nachzubessern.
  3. LAUFZEIT03Gemessen wie im Betriebpair4 wird als derselbe ONNX-Graph gemessen, der auf der Box läuft, und die Zeit stammt von der Box selbst. Unterschiede belegen gepaarte Intervalle über 10.000 Ziehungen.
DER WEG ZU PAIR4

Drei Versuche, eine Einsicht.

pair3 erkannte schlecht, wann eine Nachricht für sich allein steht. Drei naheliegende Wege haben wir gemessen und verworfen; der vierte zeigte, wo der Engpass wirklich lag. Alle Zahlen gepaart gegen pair3 auf denselben Kalibriersätzen, Folgefrage als ausgewogene Trefferquote.

F2a · DATENMehr Daten, ein LehrerNeue Trainingsdaten für die Folgefrage, Nimble als Filter: Folgefrage +4,2 Punkte, aber Absicht −1,0. Ein Encoder für drei Aufgaben; was der einen hilft, schadet der anderen. Kein Wechsel.
F2b · DESTILLATIONDen Vorgänger festhaltenpair3 als Lehrer, damit Absicht und Ja/Nein bleiben, wie sie sind: Folgefrage +3,9 Punkte, Absicht trotzdem −1,4. Kein Wechsel.
F2c · KOPF-TAUSCHDen Encoder einfrierenNur ein neuer Ausgabekopf auf dem unveränderten Encoder: Absicht und Ja/Nein bleiben bitgleich, die Folgefrage gewinnt aber nur +0,55 Punkte. Kein Wechsel.
F2d · EINSICHTDer Mittelwert war der EngpassDem Encoder fehlte kein Wissen. Der alte Kopf mittelte über alle Wörter und verwischte dabei, welches Wort sich worauf bezieht. Ein Aufmerksamkeits-Kopf, der die Wörter selbst liest, schloss 83 % der Lücke, ohne den Encoder anzufassen.
F2e · PAIR4Abgenommen am 5. OktoberDrei solcher Köpfe im Graphen des Modells, gemittelt: Folgefrage +3,4 Punkte auf denselben Kalibriersätzen, Absicht und Ja/Nein auf 3.700 Fällen bitgleich zum Vorgänger. Auf dem neuen Satz Test-F 96,4 % statt 93,8 %.
IN ENTWICKLUNGExplicio pair5Die Ziele stehen vorab fest: 95 % je Entscheidung auf einem neuen Freigabesatz, mindestens 93 % in jeder großen Sprache, alle Entscheidungen einer Nachricht in 40 ms auf der CPU der Box. Gemessen wird nach denselben Regeln.
VERTRAUEN

Woraus pair4 besteht, und woraus nicht.

DATENKeine KundendatenTrainiert wurde ausschließlich mit Daten, die wir selbst erzeugt haben: geschrieben von KI-Modellen (Claude von Anthropic und das Antwortmodell unserer eigenen Boxen), blind geprüft und gegen alle Testsätze bereinigt. Kein Kundenwissen, kein Lernen über Mandanten hinweg.
LIZENZENOffene Lizenzen, geprüfte KetteDas Basismodell mmBERT-base steht unter MIT-Lizenz, ohne nicht-kommerzielle Vorfahren. Jedes Vergleichsmodell haben wir vor der Messung auf seine Lizenz geprüft; eines ohne angegebene Lizenz der Gewichte trat nicht an.
KI-VERORDNUNGOrdnet Nachrichten ein, bewertet keine Menschenpair4 entscheidet, was eine Nachricht will, und nicht, wer sie geschrieben hat. Bitten, eine Person zu bewerten, erkennt es als solche; Explicio lehnt sie ab. Die Einstufung von Explicio als Werkzeug der Wissensverwaltung ändert sich dadurch nicht.
NACHLESEN

Wo es steht.

WHITEPAPERKlein, kalibriert, nachprüfbarMethode, der Weg über fünf Sessions, Ergebnisse mit Intervallen, Vertrauen und Grenzen. Deutsch und Englisch.
ZAHLENBLATTJede Zahl mit MesszeileEin Skript zählt alle Werte dieser Seite aus den Messzeilen nach und schreibt Quelle und Messdatum dazu. Es liegt mit den Messberichten im Plattform-Repository.
LASTENHEFTWas pair4 können mussteDie Abnahmeregeln standen fest, bevor pair4 gebaut wurde, samt der einen, die wir nach der Messung verschoben haben.
FRAGEN DAZU

Wer nachrechnen will, bekommt die Messzeilen.

Auditoren, Kunden mit eigener Messung und Hochschulen bekommen Zahlenblatt, Messzeilen und Werkzeuge auf Anfrage.

Messzeilen anfragenZurück zum Trust Center
BetriebsstatusZur Live-Statusseite →