Reproduzierbare Entscheidungen auf nicht bitstabiler Hardware
Entscheidungen einer KI-Wissensverwaltung gegen das Rauschen des Inferenzkernels absichern (Messungen auf NVIDIA GB10, vLLM 0.24.0, Qwen3.6-35B-A3B-NVFP4).
- Das gemessene Problem: Zwanzig identische Aufrufe bei temperature=0 auf einem leeren Server liefern 17 verschiedene Texte. Ursache ist kein Server-Schalter, sondern der NVFP4-Marlin-Rechenkern im Expertenblock ab Schicht 0 (54 von 3,85 Mio. Tensor-Elementen weichen minimal ab).
- Die 2-nats-Gesetzmäßigkeit: Unsere Logprob-Sonde beweist über 5.478 gemessene Token-Positionen: Entscheidungen kippen ausschließlich bei Beinahe-Gleichständen. Liegt die Marge zwischen dem besten und zweitbesten Token über 2 nats, kippt in 0 von 5.478 Positionen ein einziges Ergebnis.
- Die Explicio-Lösung: Durch das Architekturmuster „Entscheidung kurz (~40 Token), Extraktion lang“ verlegen wir geschäftskritische Entscheidungen (Rückfrage? Frage? Sprache?) dorthin, wo die Marge groß ist – mit 8 von 8 stabilen Betriebsfällen ohne den 7,4-fachen Zeitverlust dichter Modelle.