Zum Inhalt springen
LLMlokal

7 min Lesezeit

LLM im Browser - ein Sprachmodell direkt auf deiner Grafikkarte

Ein Sprachmodell im Browser starten, per WebGPU auf der eigenen Grafikkarte, ohne Server. Zum Ausprobieren auf dieser Seite — mit ehrlicher Einordnung, was das kann und was nicht.

Direkte Antwort

Diese ganze Seite behauptet, dass Sprachmodelle auf eigener Hardware laufen und Daten dabei nicht abfließen. Hier kannst du das in einer Minute selbst prüfen, statt es zu glauben:

Ein Modell in deinem Browser

Läuft auf deiner Grafikkarte, nicht auf unserem Server. Was du tippst, verlässt dein Gerät nicht.

Beim Start lädt dein Browser einmalig die Modellgewichte von Hugging Face (Hugging Face Inc., USA) herunter und legt sie im Browser-Cache ab. Das ist der einzige Fremdzugriff dieser Seite und passiert erst, wenn du unten klickst. Die Eingaben danach werden ausschließlich auf deinem Gerät verarbeitet — es gibt keinen Server, an den sie gehen könnten.

Nach dem Klick lädt dein Browser einmalig die Modellgewichte und rechnet danach über WebGPU auf deiner Grafikkarte. Ab diesem Moment gibt es keinen Server mehr im Spiel. Wenn du die Netzwerkanalyse deines Browsers offen lässt, siehst du es: Während der Antwort geht kein einziger Request raus.

Warum das mehr ist als eine Spielerei

Der Satz „deine Daten verlassen deinen Rechner nicht” steht auf jeder zweiten KI-Seite. Nachprüfen kann man ihn selten — meistens muss man dem Anbieter glauben.

Hier nicht. Die Beweisführung liegt in den Entwicklerwerkzeugen deines eigenen Browsers, und sie dauert dreißig Sekunden:

  1. Entwicklerwerkzeuge öffnen, Reiter Netzwerk
  2. Modell starten und den Download abwarten — hier siehst du die Anfragen an Hugging Face
  3. Netzwerkliste leeren
  4. Eine Frage stellen

Während die Antwort Wort für Wort erscheint, bleibt die Liste leer. Genau das ist der Unterschied zwischen lokaler Inferenz und einem Chatfenster, das im Hintergrund eine API anruft.

Was dabei tatsächlich passiert

Der Download. Die Gewichte kommen von Hugging Face — das ist der einzige Fremdzugriff dieser Seite, und er passiert erst nach deinem Klick. Danach liegen sie im Cache deines Browsers. Beim zweiten Besuch startet es sofort, ohne erneuten Download.

Die Berechnung. WebGPU ist die Schnittstelle, über die Webseiten auf die Grafikkarte zugreifen dürfen — dieselbe Hardware, die auch Ollama nutzt, nur aus der Browser-Sandbox heraus statt aus einem nativen Programm.

Die Grenzen. Die Sandbox kostet Leistung, und der Grafikspeicher ist knapper bemessen als bei einem nativen Setup. Deshalb sind die Modelle hier klein: 360 MB bis 880 MB gegen die 4,7 GB, die ein normales 8B-Modell braucht. Wie viel dein Rechner tatsächlich stemmen würde, rechnet der Hardware-Rechner aus.

Was das Modell hier kann — und was nicht

Sei nicht zu streng mit der Antwortqualität. Ein 1B-Modell ist ungefähr ein Fünftel dessen, was ein 8B-Modell leistet, und ein Achtzigstel eines 70B-Modells. Was du hier siehst, ist das untere Ende dessen, was lokal möglich ist, nicht das obere.

Es funktioniert brauchbar für: kurze Erklärungen, Umformulieren, einfache Zusammenfassungen, Klassifikation — alles, wo Struktur mehr zählt als Weltwissen.

Es funktioniert schlecht für: Fachfragen mit präzisen Fakten, mehrstufige Aufgaben, lange Texte, alles wo ein Fehler auffällt. Das kleine Modell erfindet Dinge, und zwar überzeugter, als seine Größe rechtfertigt.

Der ehrliche Vergleich: Was auf deinem Rechner mit Ollama und einem 8B-Modell läuft, ist eine andere Liga als das hier. Der Browser zeigt das Prinzip, nicht das Leistungsvermögen. Wer nach dieser Demo denkt „lokale Modelle sind schwach”, hat die falsche Schlussfolgerung gezogen — genau deshalb steht dieser Absatz hier.

Die Tokens-pro-Sekunde-Anzeige

Unter dem Senden-Knopf steht nach jeder Antwort, wie viele Tokens pro Sekunde deine Hardware geschafft hat. Das ist derselbe Messwert, mit dem der Hardware-Guide rechnet — nur diesmal von deinem eigenen Gerät statt aus einer Tabelle.

Ein Hinweis zur Einordnung: Der Wert liegt unter dem, was dasselbe Gerät mit einem nativen Tool erreichen würde. Die Browser-Sandbox kostet, und das Modell ist unquantisiert anders aufgebaut als ein GGUF für llama.cpp. Als Größenordnung taugt die Zahl trotzdem — vor allem im Vergleich zwischen zwei Geräten, an denen du sitzt.

Datenschutz, konkret

Weil diese Seite mit dem Thema wirbt, gehört die Antwort präzise und nicht als Beteuerung:

  • Modellgewichte werden von Hugging Face Inc. (USA) geladen. Dabei sieht Hugging Face deine IP-Adresse — wie bei jedem Abruf einer Datei von einem fremden Server. Das passiert erst nach deinem Klick, nie beim bloßen Aufruf der Seite.
  • Deine Eingaben gehen nirgendwohin. Es gibt kein Konto, keine Datenbank und keinen Endpunkt, der sie entgegennehmen könnte.
  • Gespeichert wird nur das Modell im Browser-Cache. Löschbar über die Browsereinstellungen wie jeder andere Websitespeicher.
  • Kein Tracking dieser Interaktion. Was du eingibst und was das Modell antwortet, erfährt niemand außer dir.

Die grundsätzliche Einordnung lokaler Modelle nach DSGVO steht unter Sicherheit und DSGVO.

Nächster Schritt

Wenn dich überzeugt hat, dass das Prinzip funktioniert, ist der Browser nicht der Ort, an dem es bleiben sollte. Ein richtiges Setup mit Ollama dauert fünf Minuten, gibt dir größere Modelle, längeren Kontext und eine API für eigene Programme. Welche Modellgröße auf deinem Rechner läuft, sagt dir vorher der Hardware-Rechner.

Häufige Fragen

Läuft das Modell wirklich lokal oder doch auf einem Server?

Wirklich lokal. Die Modellgewichte werden einmalig heruntergeladen und im Browser-Cache abgelegt, danach rechnet deine Grafikkarte über WebGPU. Es gibt keinen Server, an den deine Eingaben gehen könnten — du kannst die Netzwerkanalyse deines Browsers offen lassen und selbst nachsehen.

Welche Browser unterstützen das?

WebGPU läuft in aktuellem Chrome und Edge sowie in Safari ab Version 18. In Firefox ist die Unterstützung je nach Plattform noch unvollständig. Die Seite prüft das und sagt es dir, statt eine Fehlermeldung zu zeigen.

Warum ist das Modell so viel kleiner als die aus den Guides?

Weil es im Grafikspeicher des Browsers Platz finden muss und über die Leitung kommt. 360 MB bis 880 MB sind zumutbar, 40 GB für ein 70B-Modell nicht. Der Browser ist eine Demonstration des Prinzips, kein Ersatz für ein richtiges lokales Setup mit Ollama.

Werden meine Eingaben gespeichert?

Nein. Es gibt weder ein Konto noch eine Datenbank noch einen Server, der etwas entgegennehmen könnte. Nach dem Schließen des Tabs ist das Gespräch weg. Im Cache bleiben nur die Modellgewichte, die du im Browser jederzeit löschen kannst.

Kann ich das produktiv nutzen?

Für kleine Aufgaben und zum Ausprobieren ja. Für echte Arbeit ist ein Setup mit Ollama oder LM Studio die richtige Wahl: größere Modelle, mehr Kontext, dauerhaft verfügbar und in eigene Programme einbindbar.

Beratung