Hermes lokal installieren - Nous Research Hermes 3 auf eigener Hardware

Direkte Antwort

Hermes 3 ist eine Modellreihe von Nous Research, die du mit einem Befehl lokal startest:

ollama pull hermes3:8b
ollama run hermes3:8b

Das sind rund 4,7 GB Download. Auf einem Rechner mit 16 GB RAM läuft das Modell flüssig, und es verlässt deine Hardware nie.

Der Punkt an Hermes ist nicht rohe Qualität — dafür nimmst du Llama oder Mistral direkt. Der Punkt ist Steuerbarkeit: Hermes ist darauf abgestimmt, dem System-Prompt zu folgen, statt eigene Vorstellungen davon zu haben, was es beantworten möchte. Wenn du das Modell in ein Programm einbaust und es soll zuverlässig JSON zurückgeben oder eine Funktion aufrufen, ist das der entscheidende Unterschied.

Was Hermes eigentlich ist

Ein verbreitetes Missverständnis: Hermes ist kein von Grund auf trainiertes Modell. Nous Research nimmt ein bestehendes Basismodell und feinabstimmt es — Hermes 3 8B baut auf Meta Llama 3.1 8B auf. Das Weltwissen kommt also aus dem Basismodell, das Verhalten aus der Feinabstimmung.

Das erklärt auch, warum Hermes in Benchmarks selten die Spitze belegt: Es soll sie nicht belegen. Nous Research beschreibt den Ansatz als Ausrichtung des Modells am Nutzer statt an den Vorgaben des Anbieters, mit starken Steuerungsmöglichkeiten für den Endnutzer. In der Praxis heißt das: weniger Ausweichen, weniger ungefragte Belehrungen, mehr Folgsamkeit gegenüber dem, was im System-Prompt steht.

Für lokale Setups ist das relevanter, als es klingt. Ein Modell, das auf deiner Hardware läuft, soll deine Regeln befolgen — sonst hättest du auch eine Cloud-API nehmen können.

Größen, Downloads und was dein Rechner braucht

Ollama führt vier Hauptvarianten. Alle mit 128K Kontextfenster:

Tag	Download	RAM ab	Wofür
hermes3:3b	2,0 GB	8 GB	Schnelle Antworten, einfache Strukturierung
hermes3:8b	4,7 GB	16 GB	Der Standard — hier anfangen
hermes3:70b	40 GB	64 GB	Deutlich bessere Qualität, spürbar langsamer
hermes3:405b	229 GB	—	Auf normaler Hardware nicht praktikabel

Die RAM-Angabe ist der Punkt, ab dem es im Alltag flüssig läuft, nicht das theoretische Minimum. Wie diese Zahlen zustande kommen und warum Speicherbandbreite dabei mehr zählt als die Chip-Generation, steht im Hardware-Guide.

Die 405B-Variante ist mit 229 GB der Vollständigkeit halber erwähnt. Sie ist kein realistisches Ziel für lokale Setups — dafür bräuchtest du Serverhardware, und an dem Punkt ist die ehrliche Frage, ob Cloud vs. Lokal nicht anders ausgeht.

Installation in drei Schritten

Wenn Ollama schon läuft, bist du in zwei Minuten fertig. Falls nicht, steht der Einstieg im Ollama Tutorial.

# 1. Modell laden
ollama pull hermes3:8b

# 2. Direkt im Terminal testen
ollama run hermes3:8b

# 3. Oder über die REST-API ansprechen
curl http://localhost:11434/api/chat -d '{
  "model": "hermes3:8b",
  "messages": [
    {"role": "system", "content": "Du antwortest ausschließlich auf Deutsch und immer in maximal drei Sätzen."},
    {"role": "user", "content": "Erkläre Quantisierung."}
  ],
  "stream": false
}'

Wer lieber eine Oberfläche nutzt: In LM Studio findest du Hermes über die Modellsuche und lädst es dort mit einem Klick.

Die drei Fähigkeiten, für die man Hermes nimmt

System-Prompt-Steuerbarkeit

Hermes nutzt das ChatML-Format, in dem System-, Nutzer- und Assistenzrollen sauber getrennt sind. Praktisch bedeutet das: Was du in den System-Prompt schreibst, wirkt — und zwar über das ganze Gespräch hinweg, nicht nur für die erste Antwort.

Das klingt selbstverständlich, ist es bei lokalen Modellen aber nicht. Viele Feinabstimmungen verlieren die Systemanweisung nach ein paar Runden aus dem Blick oder überschreiben sie mit antrainiertem Verhalten. Wenn du eine feste Rolle, ein festes Ausgabeformat oder eine feste Sprache brauchst, ist das der Punkt, an dem sich Hermes bezahlt macht.

Funktionsaufrufe

Hermes unterstützt strukturierte Funktionsaufrufe: Du beschreibst dem Modell verfügbare Funktionen mit ihren Parametern, und es entscheidet, welche es mit welchen Argumenten aufrufen würde. Das ist die Grundlage für alles, was über reines Chatten hinausgeht — Agenten, Werkzeugnutzung, Anbindung an eigene Systeme.

Genau deshalb taucht Hermes auch in der Adapterliste von Agenten-Werkzeugen auf. Wie so ein Aufbau in der Praxis aussieht, steht unter OpenClaw mit lokalem Modell.

JSON-Modus

Die dritte Fähigkeit ist die unspektakulärste und im Alltag die nützlichste: Hermes kann angewiesen werden, ausschließlich ein JSON-Objekt nach einem vorgegebenen Schema zurückzugeben — ohne Einleitung, ohne Nachwort, ohne Markdown-Zaun drumherum.

Wer schon einmal versucht hat, aus einer Modellantwort per regulärem Ausdruck das JSON herauszuschneiden, weiß, warum das zählt. Für Klassifikation, Extraktion aus Dokumenten oder das Befüllen von Datenstrukturen ist ein Modell, das verlässlich nur JSON liefert, mehr wert als eines, das in Benchmarks fünf Punkte besser abschneidet.

Praxis: strukturierte Extraktion in 20 Zeilen

Der häufigste produktive Einsatz eines lokalen Modells ist nicht Chat, sondern das Umwandeln von unstrukturiertem Text in etwas, mit dem ein Programm weiterarbeiten kann. Genau dafür ist der JSON-Modus da.

import json, requests

SCHEMA_PROMPT = """Du extrahierst Daten aus deutschen Rechnungen.
Antworte ausschließlich mit einem JSON-Objekt in genau diesem Schema:
{"rechnungsnummer": string, "datum": "YYYY-MM-DD", "betrag_eur": number, "steuersatz": number}
Kein Fließtext, keine Erklärung, kein Markdown."""

def extrahiere(text: str) -> dict:
    antwort = requests.post("http://localhost:11434/api/chat", json={
        "model": "hermes3:8b",
        "format": "json",              # Ollama erzwingt gültiges JSON
        "stream": False,
        "options": {"temperature": 0}, # deterministisch, kein Kreativitätsbedarf
        "messages": [
            {"role": "system", "content": SCHEMA_PROMPT},
            {"role": "user", "content": text},
        ],
    })
    return json.loads(antwort.json()["message"]["content"])

print(extrahiere("Rechnung Nr. 2026-0417 vom 12.03.2026, Gesamtbetrag 1.428,50 EUR inkl. 19% MwSt."))

Drei Details entscheiden hier über Erfolg oder Frust:

"format": "json" ist Ollamas Zwang zu gültigem JSON. Das Modell kann syntaktisch nichts anderes mehr produzieren. Ohne diesen Schalter verlässt du dich allein auf die Anweisung im System-Prompt — bei Hermes klappt das meistens, aber „meistens” ist bei automatisierter Verarbeitung zu wenig.

"temperature": 0 schaltet die Zufälligkeit ab. Bei Extraktion willst du dieselbe Eingabe immer gleich verarbeitet sehen, nicht kreativ variiert.

Das Schema gehört in den System-Prompt, nicht in die Nutzernachricht. Das ist der Punkt, an dem Hermes’ Steuerbarkeit trägt: Die Anweisung bleibt über viele Aufrufe hinweg wirksam, statt von langen Nutzereingaben verdrängt zu werden.

Was das Beispiel bewusst nicht tut: den Ausgabewert blind vertrauen. Gültiges JSON heißt nicht korrektes JSON — das Modell kann ein sauber formatiertes Objekt mit falscher Zahl liefern. Bei allem, was zählt, gehört eine Prüfung dahinter, etwa ob der Betrag im Ausgangstext überhaupt vorkommt.

Den System-Prompt dauerhaft festschreiben

Wenn du dieselbe Rolle immer wieder brauchst, gehört sie nicht in jeden Aufruf, sondern in ein eigenes Modell. Ollama nennt das ein Modelfile:

cat > Modelfile <<'EOF'
FROM hermes3:8b
PARAMETER temperature 0.2
PARAMETER num_ctx 8192
SYSTEM """Du bist ein technischer Redakteur für deutschsprachige Dokumentation.
Du antwortest knapp, in vollständigen Sätzen, ohne Aufzählungszeichen und ohne Füllwörter.
Wenn dir eine Information fehlt, sagst du das, statt sie zu erfinden."""
EOF

ollama create redakteur -f Modelfile
ollama run redakteur

Danach ist redakteur ein eigenständiges Modell in deiner Liste. Die Rolle steckt darin fest, und jedes Programm, das es aufruft, bekommt dasselbe Verhalten — ohne dass der Prompt an zehn Stellen im Code gepflegt werden muss.

num_ctx verdient dabei einen eigenen Hinweis: Hermes 3 kann laut Modellkarte 128K Kontext, Ollama startet aber mit einem deutlich kleineren Fenster. Wer lange Dokumente verarbeitet und sich wundert, warum das Modell den Anfang vergisst, hat meist nur diesen Wert nicht gesetzt. Jede Erhöhung kostet allerdings Arbeitsspeicher — die Rechnung dazu steht im Hardware-Guide.

Hermes, Llama oder Mistral?

	Hermes 3	Llama 3.x	Mistral 7B
Was es ist	Feinabstimmung	Basismodell	Basismodell
Stärke	Anweisungstreue, Tool-Aufrufe, JSON	Breites Wissen, gute Textqualität	Deutsche Texte, ausgewogen
Lizenz	erbt vom Basismodell	Llama-Community-Lizenz	Apache 2.0
Nimm es für	Programme, Agenten, Automatisierung	Chat, Recherche, Schreiben	Allrounder ohne Lizenzfragen

Die Tabelle verkürzt, aber die Faustregel dahinter trägt: Je weiter dein Anwendungsfall vom Chatfenster weg ist, desto eher lohnt Hermes. Wer hauptsächlich selbst mit dem Modell redet, fährt mit Llama oder Mistral meist einfacher.

Vor dem produktiven Einsatz: fünf eigene Prompts

Benchmark-Tabellen messen englische Standardaufgaben. Ob Hermes für deinen Fall besser ist als das Basismodell, beantwortet nur ein eigener Vergleich. Fünf Prompts genügen, und der Test dauert zehn Minuten:

1. Formattreue. Dieselbe Extraktionsaufgabe zehnmal. Kommt zehnmal dasselbe Schema zurück?
2. Anweisungstreue über Länge. Systemanweisung setzen, dann fünf Runden lang etwas anderes besprechen. Gilt die Anweisung in Runde sechs noch?
3. Deutsche Fachsprache. Ein echter Text aus deinem Arbeitsalltag, zusammengefasst. Stimmen die Fachbegriffe?
4. Ehrlichkeit bei Wissenslücken. Eine Frage, deren Antwort das Modell nicht kennen kann. Sagt es das, oder erfindet es?
5. Funktionsaufruf. Eine Funktion beschreiben, eine passende Aufgabe stellen. Wird sie korrekt formatiert aufgerufen — oder nur beschrieben?

Punkt 4 und 5 sind die, an denen sich Modelle in der Praxis unterscheiden. Wer sie überspringt, merkt den Unterschied erst im Produktivbetrieb.

Lizenz: hängt am Basismodell

Hermes 3 auf Llama-3.1-Basis läuft unter der Llama-3-Lizenz. Kommerzielle Nutzung ist erlaubt, solange dein Dienst unter 700 Millionen monatlich aktiven Nutzern bleibt. Für Unternehmen in Deutschland, Österreich und der Schweiz ist diese Grenze praktisch nie ein Thema.

Wichtig ist die Systematik dahinter: Die Lizenz kommt vom Basismodell, nicht von Nous Research. Hermes-Varianten auf anderen Basen erben deren Bedingungen. Wenn du produktiv gehst, sieh auf der Modellkarte des konkreten Tags nach, welches Basismodell darunterliegt — die Antwort steht dort und nicht auf der Ollama-Übersichtsseite.

Wer die Lizenzfrage grundsätzlich umgehen will, findet bei Mistral lokal installieren die Apache-2.0-Varianten ohne Nutzerobergrenze.

Wann Hermes, wann etwas anderes

Nimm Hermes, wenn du das Modell in eigene Programme einbindest, ein festes Ausgabeformat brauchst, mit Funktionsaufrufen arbeitest oder wenn dich bei anderen lokalen Modellen stört, dass sie deine Systemanweisung ignorieren.

Nimm stattdessen Llama oder Mistral, wenn du vor allem gute Antwortqualität im direkten Chat willst. Die Basismodelle sind dort ungefiltert vom Fine-Tuning und für reine Textarbeit oft die geradlinigere Wahl.

Nimm gar kein lokales Modell, wenn die Aufgabe echtes mehrstufiges Denken verlangt. Diese Grenze gilt für Hermes wie für alle anderen — die Abwägung dazu steht unter Cloud vs. Lokal.

Häufige Fehler

Die 405B-Variante herunterladen, weil sie die größte ist. 229 GB belegen mehr als die halbe SSD eines typischen Notebooks, und laufen wird sie trotzdem nicht. Fang bei hermes3:8b an.

Den System-Prompt weglassen. Hermes’ größte Stärke ist die Befolgung der Systemanweisung. Wer sie leer lässt, bekommt ein durchschnittliches Llama-Derivat und wundert sich, wozu der Umweg gut war.

Die Lizenz vom Basismodell nicht prüfen. „Hermes ist offen” stimmt für die Gewichte, sagt aber nichts über die Nutzungsbedingungen. Die stehen beim Basismodell.

JSON-Ausgabe erwarten, ohne sie zu verlangen. Der JSON-Modus ist eine Anweisung, kein Standardverhalten. Ohne explizite Vorgabe von Schema und Format bekommst du Fließtext mit JSON darin.

Nächster Schritt

Wenn Hermes läuft und du eigene Dokumente einbinden willst, ist RAG lokal der nächste Baustein — Hermes’ JSON- und Funktionsfähigkeiten passen gut zu einer Pipeline, die strukturierte Treffer zurückliefert. Wer stattdessen einen Agenten bauen will, der eigenständig Werkzeuge bedient, findet den ehrlichen Praxischeck unter OpenClaw mit lokalem Modell, inklusive der Sicherheitsfragen, die dabei zu klären sind.