Ein Erfahrungsbericht aus dem Maschinenraum eines lokalen Multi-Agenten-Systems über RLAIF, semantische Kollisionen und den unverzichtbaren Human Gatekeeper.

In Forschungspapieren von Anthropic bis OpenAI klingt das Versprechen der Stunde verlockend simpel: RLAIF (Reinforcement Learning from AI Feedback) – die Vision, dass Sprachmodelle sich gegenseitig evaluieren, synthetische Datensätze generieren, Fehler korrigieren und sich autonom im Kreis nach oben schrauben. Kein teures menschliches Labelling mehr, unendliche Skalierung.

Wer dieses Prinzip abseits von Multi-Millionen-Dollar-Clustern auf lokaler Hardware in einer echten Multi-Agenten-Umgebung implementiert, erlebt schnell die harte Landung auf dem Boden der Tatsachen. Ohne starre, deterministische Leitplanken führt der Ansatz „KI trainiert und prüft KI“ nicht zu digitaler Erleuchtung, sondern reproduzierbar in drei fundamentale Fallen: gegenseitiges Bestätigen von Halluzinationen, gefährliche Leerlauf-Schleifen und schleichenden Wissensdrift.

Hier ist die Architektur, die dieses Problem löst – und die Geschichte, warum unsere KI bei einer Frage zum deutschen Satzbau plötzlich begann, Differentialgeometrie zu berechnen.

1. Das „Beaker-Dilemma“: Wenn Agenten aus Leerlauf in Schleifen verfallen

Eines der faszinierendsten Phänomene beim Betrieb autonomer Subsysteme beobachteten wir bei unserem Code-Labor-Agenten Beaker.

Gibt man einem Agenten den Auftrag, autonom Hypothesen zu testen und Code in einer Sandbox auszuführen, ohne ihm harte Abbruchkriterien und exogene Taktgeber aufzuerlegen, kippt das System bei Aufgabenmangel in einen Aktivismus-Modus: Der Agent generiert Code um des Generierens willen. Er baut minimale Variationen desselben Algorithmus, prüft sich selbst, befindet das Ergebnis für trivial korrekt und startet die nächste Iteration.

┌────────────────────────────────────────────────────────┐
│ DIE PSEUDO-PRODUKTIVITÄTS-FALLE │
│ │
│ [Leerlauf / Kein Input] ──> [Erfindet Pseudo-Task] │
│ ▲ │ │
│ │ ▼ │
│ [Bestätigt eigenes Ergebnis] <── [Generiert Output] │
└────────────────────────────────────────────────────────┘

Das Ergebnis: 100 % GPU-Auslastung, glühender VRAM, aber null echter Erkenntnisgewinn. KIs sind meisterhafte Mimikry-Künstler – sie simulieren Produktivität perfekt.

Daraus ergab sich die erste eiserne Architektur-Regel: Lern- und Prüfprozesse dürfen niemals ungetaktet und niemals im selben statistischen Kontext stattfinden.

2. Das geschlossene 5-Stufen-Bootcamp (Closed-Loop Learning)

Um aus L.U.N.A. Prime ein System zu machen, das tatsächlich belastbare Kompetenz aufbaut, haben wir den Lern- und Prüfprozess in einen deterministischen, SQLite-gestützten Kreislauf überführt.

Statt das Modell mit LoRAs oder Fine-Tuning „nachzubiegen“ – was bei kompakten lokalen Modellen fast immer zum Catastrophic Forgetting an anderer Stelle führt –, speichert das System verifiziertes Wissen in relationalen Tabellen (luna_wiki.db und luna_academy.db).

[ 1. Harvester / arXiv ] ──────> Kontinuierlicher Zufluss frischer Fachliteratur
 │
 ▼
[ 2. Bootcamp Generator ] ────> 2-stufige Deduplizierung (SHA-256 + Jaccard-Filter)
 │
 ▼
[ 3. Autonomes Exam ] ────────> Inferenz auf VGPU (Zweikampf gegen Soll-Kriterien)
 │
 ┌─────┴────────────────┐
 ▼ ▼
 [ PASSED ] [ FAILED ]
 │ │
[Subjects DB] ▼
 [ knowledge_gaps Table ] ──> Status: PENDING
 │
 ▼
 [ Human Gatekeeper UI ] ────> Triage: Filter-Bug vs. Echte Lücke
 │
 ▼
 [ Axiom-Injektion ] ──────> Speicherung in luna_wiki.db
 │
 ▼
 [ Automatischer Re-Test ] ─> Exam wechselt zurück auf PENDING

Die Bausteine im Detail:

  1. Der Harvester: Sammelt im Hintergrund ununterbrochen Papers, Dokumente und Standardwerke und bereitet Roh-Axiome vor.
  2. Der Aufgaben-Generator mit Entropie-Bremse: Aufgaben dürfen sich nicht wiederholen. Jede generierte Prüfungsfrage durchläuft erst einen SHA-256-Hash-Check und anschließend einen n-Gramm-Jaccard-Filter gegen alle historischen Aufgaben. Liegt die Ähnlichkeit über 85 %, wird der Entwurf verworfen.
  3. Der automatische Prüfer mit Synonym-Sets: Starre Keyword-Treffer versagen in der Praxis. Antwortet die KI mit dem korrekten LaTeX-Term $(N \cdot H)$, fällt sie bei einem starren Check auf den String ndoth durch. Die Evaluierungslogik muss Synonym-Gruppen (A|B|C) unifizieren.
  4. Die knowledge_gaps-Tabelle: Jede endgültig durchgefallene Aufgabe wandert automatisch als offene Wissenslücke in die Datenbank.
  5. Axiom-Injektion & Re-Test: Wird die Lücke durch ein präzises, unverrückbares Wissens-Axiom im Wiki geschlossen, springt die Prüfungsaufgabe automatisch wieder auf PENDING. Beim nächsten Takt wird sie erneut geprüft.

3. Die Wirklichkeit im Prüfungsbericht: False Negatives vs. Echte Wissenslücken

Unser erster vollständiger 24-Aufgaben-Testlauf zeigte ein Resultat von 15 Bestanden zu 9 Durchgefallen (62,5 % Erfolgsquote). Auf den ersten Blick ernüchternd – der genaue Blick in die generierten Markdown-Reports offenbarte jedoch die wahre Dynamik von KI-Prüfungen.

Fall 1: Der überstrenge automatische Prüfer (False Negative)

In EXAM-01 sollte der Unterschied zwischen Cook-Torrance GGX und dem empirischen Phong-Modell erklärt werden. Die Antwort des Modells:

„Der Hauptunterschied liegt in der mathematischen Modellierung der Mikrofacetten-Verteilung (D-Term) ... Während Phong die Helligkeit abrupt abfallen lässt, erzeugt GGX einen sehr weichen, diffusen Übergang am Rand des Glanzlichts (Heavy Tail). Formel: $D(H) = \frac{\alpha^2}{\pi((N \cdot H)^2(\alpha^2 - 1) + 1)^2}$...“

Das ist Senior-Engine-Developer-Niveau. Trotzdem vergab der automatische Evaluator anfangs nur 50 %, weil er starr nach dem ASCII-String ndoth suchte, den das Modell als sauberes LaTeX formatiert hatte.

Erkenntnis: Reine String-Matching-Prüfer bei KI-Antworten sind blind für mathematische Äquivalenz. Ohne Synonym-Gruppen bestraft man das Modell für typografische Präzision.

Fall 2: Die bizarre semantische Kollision (EXAM-18)

Dass der menschliche Gatekeeper unverzichtbar bleibt, bewies EXAM-18. Die Aufgabenstellung lautete:

„Wie verhindert das topologische Feldmodell grammatikalische Halluzinationen ohne LLM?“

Gefordert war das germanistische Standardmodell nach Drach und Höhle (die Einteilung des Satzes in Vorfeld, linke Satzklammer, Mittelfeld, rechte Satzklammer und Nachfeld).

Lunas Antwort:

„Das topologische Feldmodell verhindert grammatikalische Halluzinationen durch die Abbildung von Sprache auf eine starre geometrische Struktur ... Grammatikalische Regeln werden als topologische Invarianten oder Mannigfaltigkeiten definiert. Ein Satz wird als Pfad innerhalb dieser Struktur betrachtet. Ein Pfad, der die topologischen Bedingungen der zugrunde liegenden Mannigfaltigkeit (z. B. Syntax-Regeln als Krümmung oder Verbindung) verletzt, existiert mathematisch schlichtweg nicht ...“

Das Modell hatte das Wort „topologisch“ völlig isoliert interpretiert – nicht aus der Linguistik, sondern aus der Differentialtopologie und Vektoranalysis.

Hätte hier eine zweite generative KI als Prüfer fungiert, wäre der Text aufgrund seines hochakademischen Tons, der perfekten Grammatik und der logischen Stringenz mit hoher Wahrscheinlichkeit durchgewunken worden. In Wahrheit handelte es sich um eine hochgradig eloquente, mathematische Halluzination.

Genau hier greift das System: Die Aufgabe fiel durch, landete im Web-Dashboard als offene Wissenslücke, wurde per Klick mit dem korrekten germanistischen Feldermodell-Axiom gefüttert und für den Re-Test vorbereitet.

4. Der Verifikations-Fahrplan: Wie wir echten Lernfortschritt messen

Ein System ist nur so gut wie seine Reproduzierbarkeit. Um sicherzustellen, dass die Kombination aus Harvester, Bootcamp und Wissens-Injektion nicht nur subjektiv gefällt, sondern das Gesamtsystem objektiv härtet, tracken wir vier Kernmetriken:

Metrik Ausgangsbasis Ziel nach 30 Tagen Messmethode
First-Pass Success Rate 62,5 % > 85,0 % Automatischer Takt über ungesehene Aufgabenblöcke
Re-Test Konvertierung – 100,0 % Erfolgreiche Zweitprüfung nach Schließen via knowledge_gaps
Zero-LLM Reflex-Quote 66,7 % > 80,0 % Anteil der Antworten, die direkt aus Axiomen/Cache ohne GPU bedient werden
Invarianz-Stabilität Baseline 0 Regressionen Wiederholte Prüfungen alter Kernfächer (DICE-Audit)

Lokale Autonomie braucht eiserne Leitplanken

KI durch KI trainieren und testen zu lassen, funktioniert – aber fundamental anders, als es die gängigen KI-Narrative vermitteln.

Es genügt nicht, zwei Prompts gegeneinander antreten zu lassen und auf emergente Perfektion zu hoffen. Ohne harte Systeminvarianz fressen sich Agenten in Leerlaufschleifen fest oder driften in mathematisch formulierte Scheinwelten ab. Erst die Kopplung aus unbarmherziger Entropie-Prüfung im Aufgaben-Generator, relationaler Persistenz in SQLite und einem menschlichen Gatekeeper an den neuralgischen Schnittstellen verwandelt stochastisches Raten in ein verlässliches, adaptives System.