Aus der Werkstatt
Wir betreiben lokale KI-Systeme in Wiener Kanzleien und Ordinationen. Was dabei funktioniert und was nicht, veröffentlichen wir mit den Zahlen dahinter — auch dann, wenn die Zahlen unbequem sind.
Die 16-GB-Box im Wiener Kanzlei-Test: eine Mandantenhistorie und ein Fallvergleich mit eingebauten Namensfallen, bis zu 1.000 Dateien im Aktenordner. Sechsmal volle Punktzahl, einmal eine Chronologie in falscher Reihenfolge, kein einziger Abbruch. Dazu der direkte Vergleich mit 8 GB und das, was diese Messung noch nicht zeigt.
Drei lokale Sprachmodelle, drei echte Kanzlei-Aufgaben auf Deutsch, eine RTX 4060 mit 8 GB Grafikspeicher. Neun Durchgänge, keiner bestanden — bis wir eine einzige Konfigurationsdatei korrigierten. Danach verdoppelte sich die Punktzahl und das 9-B-Modell erreichte 87 % dessen, was ein 27-B-Modell auf der doppelt so großen Karte schafft. Der vollständige Messbericht mit allen Zahlen, allen Fehlern und dem direkten Vergleich.
