Wie Merlin AI eine Anfrage bearbeitet
Nicht jede Frage braucht ein großes Modell. Merlin AI arbeitet in Stufen: zuerst das, was das Handy allein kann, dann feste Regeln, dann ein kleines lokales Modell mit Werkzeugen, und erst am Ende, wenn nötig, ein größeres Modell. Diese Seite beschreibt die Stufen, den Grund für jede und ihre Grenzen.
Noch nicht veröffentlicht. Beschreibt den Stand der Entwicklungsversion.
Der Weg einer Anfrage
Eine Eingabe durchläuft die Stufen von oben nach unten und endet, sobald eine Stufe sie sicher beantworten kann. Die meisten Alltagsbefehle enden früh, ohne dass ein Sprachmodell gestartet wird.
Lokale Modelle: was auf dem Handy liegt und dort bleibt.
Vorsortierung: feste Wege und Werkzeugwahl, bevor ein Modell gefragt wird.
Entscheidung: welches Modell antwortet, wann es abgibt und was im Gedächtnis bleibt.
Anschluss: eigene Modelle, MCP und Plugins als Erweiterung.
1. Lokale KI auf dem Handy
Was sie tut. Die Standardeinstellung „automatisch“ nimmt zuerst ein Modell, das auf dem Handy läuft: Gemma, sonst Gemini Nano. Erst wenn keins geladen ist, folgt der gekoppelte Rechner und danach eine eigene KI. Wer ein bestimmtes Modell fest wählt, bekommt dieses.
Gespräche, Notizen und Skills liegen im App-Speicher. Texterkennung und Sprachausgabe mit den Gerätestimmen laufen ohne Verbindung. Etwas verlässt das Handy nur, wenn eine KI im Internet eingetragen ist oder eine Aufgabe ausdrücklich an den Rechner abgegeben wird.
Warum es sie gibt. Ein Modell vor Ort antwortet ohne Netz, kostet nichts pro Anfrage und sieht keine Daten, die das Gerät nicht ohnehin hat. Für Nachschlagen, Zusammenfassen, Bildbeschreibungen und das Bedienen der Werkzeuge reicht es meistens aus. Das schont zugleich die Kontingente der großen Modelle für die Fälle, in denen sie gebraucht werden.
- Grenze: Größe
- Die Modelle sind klein. Planen über viele Schritte und Programmieren fallen deutlich schwächer aus als bei einem großen Modell, und Werkzeugaufrufe gelingen nicht jedes Mal.
- Grenze: Speicher
- Das Kontextfenster beträgt je nach Arbeitsspeicher 4096 oder 8192 Token. Ein Wächter kürzt vor jedem Aufruf zuerst den alten Verlauf, dann entbehrliche Werkzeuge, zuletzt die Eingabe. Lange Werkzeugergebnisse landen in einer durchsuchbaren Ablage statt im Prompt. Für einen Helfer macht das aktuelle Modell Platz, es ist immer nur ein großes Modell geladen.
- Grenze: Geräte
- Gemini Nano gibt es nur auf Geräten, die es unterstützen. Die Pakete stellt Android bereit, und die zugehörige Google-Bibliothek sendet anonyme Nutzungsstatistik. Deshalb werden sie nicht vorinstalliert, sondern nur auf Wunsch geladen.
| Baustein | Aufgabe | Hinweis |
|---|---|---|
| Gemma (LiteRT-LM) | Texte, Bilder und Audio verstehen, Werkzeuge aufrufen | Die Modelldatei kommt vom eigenen Server, es besteht keine Verbindung zu Google. |
| Gemini Nano (AICore) | Texte, Werkzeuge über ein Textprotokoll | Nur auf unterstützten Geräten. |
| Merlins lokales Modell | Texte, auf die Werkzeuge der App abgestimmt | Beta. Entwicklung und Stand: Merlins eigenes Modell. |
| Qwen Coder | Code, Auswertung der Admin-Recon-Ergebnisse | Beta. Rolle und Grenzen: Code-Modelle. |
| MiniLM | Satzähnlichkeit für die Werkzeugwahl (siehe Vorsortierung) | Rund 22 MB, im App-Paket enthalten. |
| Tesseract | Text aus Fotos und PDF-Seiten | Offline, Deutsch und Englisch. |
| Gerätestimmen | Sprachausgabe | Offline. Die natürlichere Stimme „Conrad“ kommt vom gekoppelten Rechner. |
Code-Modelle und Merlins eigenes Modell
Qwen Coder
Was es tut. Qwen Coder ist ein reines Textmodell für Programmcode. In der Entwicklung liegt eine Fassung von Qwen2.5 Coder mit 3 Milliarden Parametern bereit (rund 3,4 GB als .litertlm-Datei). Es hat keinen Bild- und Audioteil. Im Chat bekommt es einen eigenen Systemtext statt des Assistenten-Charakters: knapp, auf Deutsch, Code vollständig und lauffähig in einem Codeblock, dazu eine kurze Begründung. Den Text kann man in den Einstellungen ändern.
Wann man es nimmt. Für Skripte, Konfigurationen, kleine Programme und das Durchsehen von Code, auch ohne Netz. Dazu wertet es bei Admin-Recon die gesammelten Ergebnisse aus und schlägt nächste Schritte vor. Ist kein Code-Modell geladen, übernimmt die dort gewählte KI die Auswertung, sonst gibt es nur die Rohergebnisse. Auch die kleinen Lua-Plugins für den IRC-Chat lassen sich von einem Modell schreiben. Die App legt sie in ihrem privaten Speicher ab und führt sie in einer abgeschotteten Umgebung ohne Netz- und Dateizugriff aus.
Wie es mit Werkzeugen arbeitet. Die Werkzeug-Vorlage der Laufzeit verträgt Qwens eingebettete Chat-Vorlage nicht. Deshalb bekommt ein Code-Modell die Werkzeuge als Text mit und ruft sie über eine Textzeile auf. Für Teilaufgaben, die das aktuelle Modell nicht leistet, gibt es den Helfer: Bilder ansehen lassen, eine schwere Frage an ein stärkeres Modell geben oder viele gleiche Aufgaben auf andere Handys verteilen. Das aktuelle Modell macht dafür Platz, denn es ist immer nur ein großes Textmodell geladen.
Merlins eigenes Modell
Ziel. Ein kleines Modell, das auf die Werkzeuge der App feinabgestimmt ist: Aus einem Alltagssatz wie „mach die Gartenlampe an“ soll der richtige Werkzeugaufruf mit den richtigen Argumenten werden. Es bleibt dabei klein genug für ein normales Handy.
Trainingsweg. Basis ist Qwen3 mit 1,7 Milliarden Parametern, trainiert per LoRA. Die Beispiele entstehen aus den Werkzeug-Beschreibungen der App und deutschen Alltagsbefehlen, der letzte Lauf verwendete 2605. Texte ohne Werkzeugaufruf schreibt das Basismodell selbst, es fließen keine Antworten anderer KI-Anbieter ein. Training und Export laufen kostenlos auf einer Kaggle-GPU und dauerten zuletzt gut 22 Minuten. Das Ergebnis ist eine .litertlm-Datei, die der eigene Server signiert ausliefert. Exportiert wird nur, wenn die Trefferquote nach dem Training höher liegt als vorher.
- Messung
- Gemessen wurde, ob das Modell bei 38 Testbefehlen das richtige Werkzeug aufruft. Das unveränderte Qwen3 1,7B traf 22 (58 %), nach dem Training 35 (92 %). Das ist eine kleine Testliste und sagt nichts über freie Gespräche aus. Die Stilbewertung (Anrede, Kürze, sauberes Deutsch) ist als Maßstab festgelegt, ein Ergebnis dazu liegt noch nicht vor.
- Stand
- Beta. Das Modell steht in der Modellliste der App und lässt sich dort für Merlin wählen. Es wird nie für Rechenaufträge des Servers eingesetzt, nur auf ausdrückliche Wahl im Chat.
- Nächster Schritt
- Die bisherigen Trainingsdaten nennen den Assistenten noch „Jarvis“. Das nächste Training stellt sie auf Merlin um.
- Selbst weitertrainieren
- Eigene Beispiele kommen als eine JSON-Zeile je Beispiel in
wohlfuehl-ki/daten/extra_de.jsonl. Dann bauttraining/merlin-trainieren.sheine einzige Kaggle-Zelle, die man in ein Notebook mit GPU einfügt. Jeder Lauf startet frisch vom Basismodell auf dem erweiterten Datensatz. Die Schritte stehen inwohlfuehl-ki/MERLIN-WEITERTRAINIEREN.md. - Grenze: Größe
- Auch das Merlin-Modell ist klein. Es soll Werkzeuge treffen, nicht große Aufgaben lösen. Für schwere Fragen und Programmieren bleibt der Weg über Helfer, Code-Modell oder angeschlossene große Modelle.
2. Vorsortierung
Was sie tut. Bevor ein Sprachmodell gefragt wird, prüft die App die Eingabe in zwei Schichten.
Die erste Schicht sind feste Wege für kurze, eindeutige Einzeiler bis 140 Zeichen: ein Gruß, die Frage „wer bist du“, ein Schaltbefehl für Home Assistant, Wetter und Druckerstand aus Home Assistant, die Zertifikatsprüfung für genannte Domains, ein Netzscan über alle Geräte im Heimnetz („guck dich mal im Netzwerk um“), ein Download mit Link, das Eintragen einer eigenen Webseite als Prüfziel und die Prüfung einer Domain oder IP-Adresse mit Admin-Recon. Das sind Regeln und Stichwörter, kein Modell. Türen, Garagen, Rollläden und Alarmanlagen werden auch bei einem festen Weg erst nach Bestätigung geschaltet.
Die zweite Schicht wählt das passende Werkzeug. Jedes Werkzeug hat Stichwörter, starke zählen doppelt. Liegt ein Werkzeug klar vorn, führt die App es bei lokalen Modellen direkt aus. Die Argumente baut sie, wo es einfach ist, aus dem Text selbst, etwa Adresse oder Link, sonst füllt das Modell nur sie aus und wählt kein Werkzeug. Danach formuliert das Modell das Ergebnis. Bei einem größeren Modell als Hauptmodell bleibt es bei einem Hinweis, denn diese Modelle wählen selbst gut. Liegen zwei Werkzeuge dicht beieinander, fragt die App nach („Meinst du das Plugin …?“). Gehört das Stichwort zu einem Plugin, das nicht geladen ist, sagt Merlin, wo man es bekommt.
Reichen die Stichwörter nicht, kann ein kleines Satz-Embedding (MiniLM) die Eingabe mit Beispielsätzen je Werkzeug vergleichen. Es entscheidet nur bei ausreichender Ähnlichkeit und ausreichendem Abstand zum zweiten Treffer. Sonst geht die Anfrage unverändert an das Modell.
Warum es sie gibt. Eine feste Regel antwortet in Millisekunden, braucht kaum Akku und liefert jedes Mal dasselbe. Kleine Modelle wählen bei Werkzeugen oft falsch: Im Feldtest rief ein Code-Modell für ganz verschiedene Wünsche den Downloader auf. Die Vorsortierung nimmt ihnen diese Wahl ab, wo sie eindeutig ist, und lässt ihnen die Arbeit, für die ein Modell gebraucht wird.
- Grenze: Wortlaut
- Die Stichwörter sind fest und auf Deutsch. Eine ungewöhnliche Umschreibung wird nicht erkannt und geht dann an das Modell. Das kostet Zeit, aber nicht die Richtigkeit.
- Grenze: nur Kurzes
- Lange oder mehrzeilige Anweisungen überspringen die festen Wege. Sonst würden Wörter wie „prüf“ oder „netz“ einen Scan auslösen, bevor jemand den Rest der Anweisung gelesen hat.
- Grenze: MiniLM
- Das eingebaute Modell ist ein englisches. Für deutsche Sätze fällt es selten eindeutig aus und bleibt dann ohne Wirkung. Ein mehrsprachiges Modell wäre größer und ist noch nicht eingebaut.
- Rückfall
- Wo die Vorsortierung unsicher ist, entscheidet sie nicht. Der Weg über das Modell bleibt damit immer offen.
3. Entscheidung
Was sie tut. Das gewählte Modell arbeitet in einer Schleife: antworten, bei Bedarf ein Werkzeug aufrufen, das Ergebnis lesen, weiter antworten, höchstens acht Werkzeugaufrufe je Antwort. Jeder Schritt erscheint im Verlauf. Was ein Werkzeug zurückgibt, gilt für das Modell als Inhalt und nie als Anweisung.
Abgeben. Ist eine Aufgabe zu groß, hat das lokale Modell ein Werkzeug zum Abgeben. Bilder beschreibt ein lokales Bildmodell. Eine schwere Teilfrage geht an ein zweites lokales Modell, sonst an eine eingetragene eigene KI, sonst an den Rechner. Viele gleichartige Aufgaben lassen sich auf andere gekoppelte Handys verteilen. Die Abgabe an den Rechner geschieht erst nach einer Bestätigung mit dem Wortlaut der Aufgabe. Der Rechner startet dafür sein Modell (standardmäßig Claude Sonnet) abgeschottet: ohne Dateizugriff und ohne eigene Einstellungen, nur mit Websuche, Webabruf und den Werkzeugen dieses Handys, mit Zeitlimit und einer Tagesgrenze von 40 Fragen. Seine Werkzeugaufrufe laufen auf dem Handy, mit dessen Bestätigungen.
Rückfragen. Lesende Werkzeuge laufen ohne Rückfrage. Verändernde Aktionen wie Schalten, Termine anlegen oder das Abgeben an den Rechner fragen vorher nach. Bei Server-, EchtOS- und MCP-Werkzeugen gilt: Wer sich nicht ausdrücklich als „nur lesend“ ausweist, wird vor jedem Aufruf bestätigt. Ein eigenes Werkzeug kann außerdem selbst per Benachrichtigung mit Knöpfen, Freitext und Bild zurückfragen.
Gedächtnis. Notizen haben vier Stufen: Kern, Wichtig, Normal, Archiv. Was lange ungenutzt bleibt, rutscht nach 90 Tagen eine Stufe tiefer, Häufiges steigt. Im Prompt steht, was in das Budget passt, der Rest ist über „erinnern“ auffindbar. Gemerkt wird nur, was der Nutzer selbst über sich gesagt hat. Ergebnisse aus Werkzeugen, Anweisungen und Zugangsdaten werden abgelehnt. Dazu kommen Skills: kurze Ablaufbeschreibungen, die Merlin nach gelösten Aufgaben selbst anlegt und verbessert.
Einmal täglich, nur am Ladekabel und im Ruhezustand, liest eine Rückschau die Nachrichten des Nutzers seit dem letzten Lauf. Das Modell schlägt dauerhafte Tatsachen vor, und gespeichert wird nur, was dieselbe Prüfung besteht wie ein „merk dir“. Eine Benachrichtigung nennt, was neu ist. Die Rückschau läuft nur lokal oder über den eigenen Rechner, nie über eine KI im Internet.
Großes und kleines Modell nutzen dieselben Notizen und denselben Verlauf. Was beim Antworten mit dem großen Modell gemerkt wird, steht danach auch dem lokalen Modell als Kontext zur Verfügung. Das große Modell bekommt mehr davon, weil sein Fenster größer ist.
Warum es sie gibt. Die Reihenfolge „lokal zuerst“ schont Kontingent und Rechenzeit des Rechners, hält Daten auf dem Gerät und funktioniert ohne Netz. Das große Modell bleibt für die Fälle, in denen Qualität zählt. Die Bestätigungen sorgen dafür, dass nichts Veränderndes ohne Zutun passiert und nichts ohne Wissen das Haus verlässt.
- Grenze: Urteilsvermögen
- Das lokale Modell entscheidet selbst, ob es abgibt. Ein zu selbstsicheres kleines Modell antwortet dann schlechter, als ein größeres es getan hätte. Wer das nicht will, wählt das größere Modell fest als Hauptmodell.
- Grenze: Gedächtnis
- Notizen verbessern den Kontext, nicht das Modell. Dauerhaft stärker wird das lokale Modell erst durch Nachtrainieren, und dafür gibt es noch keinen automatischen Weg.
- Grenze: Rückschau
- Sie sieht nur Nachrichten des Nutzers, nie Antworten, Webseiten oder Werkzeugergebnisse. Die strenge Prüfung führt dazu, dass manches nicht gemerkt wird, was nützlich gewesen wäre. Notizen lassen sich jederzeit selbst ergänzen, ändern und löschen.
- Grenze: Rechner
- Die Abgabe braucht einen gekoppelten, vertrauten und erreichbaren Rechner. Ohne ihn bleibt es beim lokalen oder einem eingetragenen Modell.
- Datenschutz bei Internet-KI
- Bei einer eingetragenen KI im Internet ersetzt die App E-Mail-Adressen, Telefonnummern, IBANs und Anschriften vor dem Senden durch Platzhalter und setzt die echten Werte erst auf dem Handy wieder ein. Notizen gehen nur mit Erlaubnis mit.
4. Modelle und Plugins anschließen
Was es tut. Die eingebauten Fähigkeiten sind der Anfang, nicht die Grenze. Man kann ein eigenes Modell anschließen und Werkzeuge ergänzen. Beides erscheint für Merlin wie die eingebauten Teile, mit denselben Regeln für Rückfragen.
| Art | Was es ist | Wo es läuft, was es darf |
|---|---|---|
| Eigene KI | Jede Schnittstelle im OpenAI-Format: Ollama oder LM Studio im eigenen Netz, OpenAI, Google Gemini, OpenRouter und weitere. | Adresse und, je nach Anbieter, ein API-Schlüssel. Der Schlüssel liegt im Android Keystore und geht nur an die eingetragene Adresse, Klartext-http nur im eigenen Netz. Die Modelle werden live beim Anbieter abgefragt. Die eigene KI bekommt dieselben Werkzeuge wie das lokale Modell. |
| Eigenes Modell als Datei | Ein Modell im Format .litertlm. | Läuft lokal auf dem Handy, nur für Merlin, und ist als „nicht von echtor geprüft“ gekennzeichnet. |
| MCP-Server | Beliebige MCP-Server mit Adresse und Token. Die Werkzeugliste wird höchstens alle 10 Minuten abgefragt. | Läuft beim Betreiber des Servers. https überall, Klartext-http nur ins eigene Netz. Ein Werkzeug ohne Angabe „nur lesend“ fragt vor jedem Aufruf nach. |
| Rechenknecht als MCP | Der Server bietet seine Warteschlange und die Fähigkeiten der Handys auch einem Assistenten am Rechner an, etwa Claude Code. | Er soll sie nur nutzen, wenn die Aufgabe das Handy oder das Heimnetz braucht. Ergebnisse von Geräten gelten als ungeprüfte Daten. |
| Server-Plugins (.py) | Eine Python-Datei mit Name, Beschreibung, Eingabeschema und ausfuehren(args). Aufbau siehe Plugins und Modelle. | Läuft auf dem Rechner mit den vollen Rechten des Server-Prozesses und wird nur an vertraute Geräte ausgeliefert. Nur für eigenen Code. Mit NUR_LESEN = True läuft es ohne Rückfrage, sonst fragt die App einmal je Aufruf. |
| EchtOS-Plugins | Ein Ordner mit plugin.json und Skript, abgelegt im Projektordner plugins/ des Servers. | Der Server liefert Manifest und Dateien mit SHA-256-Prüfsumme an die App, ausgeführt wird nur auf dem Handy in der Linux-Umgebung der App. Das Manifest legt Schema, nur_lesen und eine Tor-Nutzung fest. Auch hier fragt die App bei allem nach, was nicht „nur lesend“ ist. |
| IRC-Lua-Plugins | Kleine Lua-Skripte für den IRC-Chat der App: Trigger, Zähler, feste Antworten. Merlin kann sie schreiben. | Laufen in der App in einer abgeschotteten Umgebung ohne Datei- und Netzzugriff und reagieren nur auf Kanalnachrichten. Das Speichern und Aktivieren braucht eine Bestätigung. |
| Skills | Ablaufbeschreibungen im Markdown-Format mit Kopfdaten, vom Rechner signiert oder selbst angelegt. | Sie sind Text, kein Code. Sie sagen Merlin, wie eine Aufgabe zu lösen ist, und führen selbst nichts aus. |
Rechte in einem Satz: Lesen darf ein Werkzeug ohne Rückfrage, sobald es sich so ausweist. Verändern, Verschicken und Schalten geschieht nach Bestätigung auf dem Handy, unabhängig davon, welches Modell das Werkzeug aufruft.
Warum es sie gibt. Wer das Handy oder das Heimnetz für eigene Zwecke nutzt, braucht eigene Werkzeuge, und wer ein bestimmtes Modell bevorzugt, soll es einsetzen können, ohne dass die App umgebaut wird. Ein gemeinsamer Vertrag für Name, Beschreibung und Schema macht das möglich: Das Modell kennt von einem Werkzeug nur diese Angaben, egal woher es stammt.
Grenzen
Ein Server-Plugin und ein MCP-Server sind so vertrauenswürdig wie ihr Autor. Eine Bestätigung auf dem Handy schützt vor unbemerkten Aufrufen, prüft aber nicht, was der Code im Inneren tut. Eine Internet-KI sieht den Gesprächstext, auch mit Platzhaltern für persönliche Angaben. Ein ChatGPT- oder Claude-Abo genügt für die Schnittstelle nicht, die Anbieter verlangen einen eigenen API-Schlüssel. Die Werkzeugliste für das Modell ist begrenzt, bei kleinen Modellen noch stärker, damit das Fenster nicht überläuft.