Wer mit Large Language Models entwickelt, stolpert unweigerlich über eine gefährliche Falle: Scheinkompetenz. Sprachmodelle sind darauf trainiert, überzeugend zu klingen. Sie formulieren elegant, entschuldigen sich höflich und wirken selbst dann kompetent, wenn sie inhaltlich nichts Greifbares liefern.
Im Rahmen unseres Projekts L.U.N.A. Prime haben wir uns dieser Realität schonungslos gestellt. Open-Source-Forschung und eigene Softwareentwicklung bedeuten für uns, Fehlschläge offen zu dokumentieren, statt sie zu kaschieren. Denn genau aus diesen Fehlern entsteht eine tragfähige, verlässliche Architektur.
Hier ist der Werkstattbericht über unseren jüngsten Richtungswechsel.
Der Fehlschlag: Wenn zwei Agenten sich gegenseitig spiegeln
Für L.U.N.A.s Wissensaufbau hatten wir ein schulisches System eingerichtet: Ein dedizierter Mentor-Agent sollte Fachlektionen erteilen, Hausaufgaben stellen und Prüfungen abnehmen. Zur automatisierten Validierung setzten wir unter anderem auf Textähnlichkeitsmetriken wie den Sørensen-Dice-Koeffizienten.
Das Resultat war ernüchternd:
* Frage des Mentors: „Da ich nicht genau weiß, welche spezifischen Module du in deinem Kurs durchlaufen hast...“
* Antwort von L.U.N.A.: „Das ist ein hervorragendes Angebot! Da ich als KI darauf programmiert bin, dich optimal zu unterstützen, nehme ich die Herausforderung an...“
* System-Bewertung: passed = 1. Prüfung bestanden, Punkte gutgeschrieben.
Weil beide Texte ähnliche Vokabeln enthielten, meldete der Text-Ähnlichkeits-Algorithmus eine hohe Übereinstimmung. In der relationalen SQLite-Datenbank sammelten sich über fünftausend Zeilen reiner Höflichkeitsfloskeln. L.U.N.A. hatte inhaltlich nichts gelernt. Sie hatte lediglich gelernt, den Prompt des Mentors mit typischem LLM-Meta-Talk zu spiegeln.
Das war kein echtes Wissen, sondern eine Illusion im Speicher.
Der radikale Schnitt: Tabula Rasa
Ein System, das später verlässlich und autonom agieren soll, darf nicht auf stochastischem Raten aufbauen. Daher haben wir die Reißleine gezogen: 1. Bereinigung der Datenbank: Tausende Scheineinträge und Floskel-Prüfungen wurden restlos aus der Datenbank gelöscht. 2. Metrik-Reset: Sämtliche künstlich aufgeblasenen Fortschrittsbalken und Reifegrade im Dashboard wurden auf den realen IST-Zustand zurückgesetzt. 3. Abschied von reinen Textähnlichkeits-Scores: Kein Wissensmodul wird mehr anhand oberflächlicher Worthäufigkeiten oder Dice-Scores als „bestanden“ markiert.
Die neue Architektur: Hybrides Lernen in zwei Schichten
Um echtes, überprüfbares Wissen dauerhaft zu verankern, haben wir das Lernsystem auf eine Hybrid-Architektur umgestellt:
Schicht 1: Der deterministische Kern (0 % Inferenz)
Mathematik, Geometrie, formale Aussagenlogik und Elektrotechnik erfordern kein Sprachmodell. Wenn 2 + 3 × 4 gerechnet wird, binden Operatoren nach festen Prioritäten. Schicht 1 berechnet und validiert diese Aufgaben über Python-interne Arithmetik und AST-Parsing in Millisekunden. Das Ergebnis: Null GPU-Last, minimaler Speicherverbrauch und absolute Fehlerfreiheit.
Schicht 2: Semantische Inferenz mit Anti-Fluff-Filter
Geisteswissenschaften, Strategie, Medizin oder Philosophie lassen sich nicht in starre mathematische Gleichungen fassen. Hier unterrichtet der Mentor-Agent über ein lokales Sprachmodell.
Allerdings greift nun eine unbestechliche Schleuse:
* Enthält L.U.N.A.s Antwort Floskeln wie „Als KI...“ oder „Ich helfe gerne“, wird die Lerneinheit sofort mit Fehlerstatus verworfen.
* Der Mentor formuliert exakt 3 unumstößliche Fachaxiome, die als Rohwissen in learned_facts abgelegt werden.
* L.U.N.A. muss eine konkrete Hausaufgabe lösen, die erst nach bestandener Prüfung in die Datenbank wandert.
Unbestechliche Zentralprüfungen und Reifeberichte
Um in die nächste Schulstufe aufzusteigen, reicht kein Fleißkärtchen mehr. Am Ende jeder Stufe (von Grundschule bis Universität) steht eine Zentralprüfung: * Das System zieht zufällige Axiome quer durch alle bisherigen Disziplinen. * L.U.N.A. muss die Zusammenhänge beweisen – vollständig Zero-LLM rein über ihren relationalen Datenbankbestand. * Null-Toleranz-Prinzip: Macht sie auch nur einen einzigen logischen oder mathematischen Fehler, fällt sie durch. Die Stufe wird zurückgesetzt, und die Disziplinen müssen von vorn erlernt werden. * Besteht sie zu 100 %, wird automatisch ein Markdown-Zertifikat erzeugt, das einen vollständigen Dump der verankerten Datenbankzeilen als Nachweis enthält.
Fazit
Die Arbeit an lokalen, agentischen Systemen zeigt deutlich: Mehr Tokens bedeuten nicht mehr Verstand. Ein System wird nicht intelligenter, indem man zwei Prompts endlos miteinander plaudern lässt.
Echte Stabilität entsteht erst an der Schnittstelle zwischen semantischer Sprachverarbeitung und deterministischer Validierung. L.U.N.A. lernt jetzt wieder von Grund auf – Schritt für Schritt, diszipliniert und mit jedem Fakt relational belegbar.