Open Source AI · Lokal betreiben
KI lokal betreiben.
Mit Ollama loslegen.
Ollama ist nicht das Modell — es ist das Werkzeug das Modelle lokal betreibt. Diese Seite zeigt dir wie du startest, welches Modell du wählst, und wie du daraus eigene Lösungen baust.
Ollama: das Werkzeug — nicht das Modell
Ein häufiges Missverständnis: Ollama ist kein KI-Modell. Es ist die Laufzeitumgebung die es dir erlaubt, Open-Weight-Modelle wie Llama, Mistral oder DeepSeek auf deinem eigenen Rechner oder Server zu betreiben.
Die Analogie: Docker läuft Container — Ollama läuft Modelle. Du installierst Ollama einmal, und kannst dann beliebige offene Modelle herunterladen und lokal ausführen. Keine Cloud, keine API-Keys, keine Daten die das Haus verlassen.
Stärken
- · Einfachster Einstieg für lokalen LLM-Betrieb
- · OpenAI API-kompatibel
- · Läuft auf macOS, Linux, Windows
Plattformen
macOS, Linux, Windows
API
OpenAI API-kompatibel
Warum das wichtig ist: Weil du ein Modell aus China (DeepSeek), Japan oder den USA lokal betreiben kannst — und es ist vollständig DSGVO-konform. Nicht das Modell entscheidet über Datenschutz, sondern wo es läuft.
Welches Modell für welchen Zweck?
Stand: Mai 2026 · Wird bei KB-Updates automatisch aktualisiert
Meta gibt es strategisch frei — nicht aus Philanthropie sondern als Wettbewerbsstrategie
- · Allgemeine Aufgaben
- · Fine-Tuning-Basis
- · Einstieg
8GB RAM für 8B
Lokal betrieben vollständig DSGVO-konform
Einziges Modell das beide Wege bedient: EU-API und lokaler Open-Weight-Betrieb
- · DSGVO-kritische Kontexte
- · Europäische Organisationen
- · Effizienter lokaler Betrieb
8GB RAM für 7B
Europäischer Anbieter — API DSGVO-konform, lokal sowieso
Beweist dass Frontier-Performance keine Milliarden-Budgets braucht
- · Lokal betrieben für hohe Qualität
- · Code-Generierung
- · Reasoning-Aufgaben
8GB RAM für 7B
API-Nutzung kritisch (China) — lokal betrieben DSGVO-konform
Kleinste Modelle mit überraschend guter Qualität
- · Eingebettete Anwendungen
- · Einstieg auf schwacher Hardware
- · Mobile/Edge
4GB RAM für 2B
Lokal betrieben DSGVO-konform
In drei Schritten loslegen
Ollama installieren
Ollama läuft auf macOS, Linux und Windows. Download unter ollama.ai — ein Installer, fertig. Keine komplexe Konfiguration.
# Nach Installation: erstes Modell laden
ollama pull llama3.2
ollama run llama3.2Modell wählen und starten
Für den Einstieg empfehle ich Llama 3.2 (3B) — läuft auf fast jedem Rechner, gute Qualität. Für komplexere Aufgaben: Mistral 7B oder Llama 3.1 8B.
# Mistral für bessere Qualität
ollama pull mistral
ollama run mistral
# Oder: DeepSeek für Reasoning
ollama pull deepseek-r1:7bÜber API ansprechen
Ollama stellt eine OpenAI-kompatible API bereit. Du kannst dieselbe Code-Basis wie für ChatGPT nutzen — nur die Base-URL ändern.
# OpenAI Python SDK — nur Base-URL tauschen
client = OpenAI(
base_url="http://localhost:11434/v1",
api_key="ollama" # beliebig
)Alternativen zu Ollama
Ollama ist der einfachste Einstieg — aber nicht immer die beste Wahl.
Ideal für Einsteiger — grafische Oberfläche, kein Terminal nötig. Gut zum Ausprobieren.
Wählen wenn: Wenn du ohne Kommandozeile starten willst
Hochperformant, für Server-Deployments. Continuous Batching, Tensor Parallelism. Kein Consumer-Tool.
Wählen wenn: Wenn du Modelle für viele parallele Nutzer betreibst
Läuft auf sehr schwacher Hardware, auch ohne GPU. C++ basiert, sehr effizient.
Wählen wenn: Wenn Ressourcen knapp sind oder Edge-Deployment gefragt
Wie LM Studio, aber mit stärkerem Fokus auf lokale API und Privacy. Open Source.
Wählen wenn: Wenn du eine einfache App mit API-Zugang willst
Die Faustregel: Ollama zum Experimentieren und Entwickeln. vLLM wenn du in Production gehst und viele parallele Anfragen hast. LM Studio wenn du kein Terminal willst.
Von lokalem Betrieb zur eigenen Lösung
Ollama läuft — und jetzt? Ein Standard-Modell kennt deine Dokumente nicht, spricht nicht deine Unternehmenssprache, kennt eure Prozesse nicht. Der Weg von “Modell läuft” zu “eigene Lösung” geht über zwei Pfade:
RAG — eigene Dokumente einbinden
Retrieval-Augmented Generation: Das Modell bleibt wie es ist — aber du gibst ihm bei jeder Anfrage die relevanten Dokumente aus deiner eigenen Wissensbasis mit. Kein Training nötig, sofort einsetzbar.
Gut für: interne Dokumente, Handbücher, Wissensdatenbanken
RAG erklärt →Fine-Tuning — Modell spezialisieren
Das Modell wird auf eigene Daten nachtrainiert — es lernt eure Sprache, euren Stil, eure Prozesse. Aufwendiger als RAG, aber das Ergebnis ist tief integriert.
Gut für: spezifische Domänen, konsistente Outputs, proprietäres Wissen
Fine-Tuning erklärt →Aktuell empfehlenswert für lokalen Betrieb
Die Modell-Landschaft verändert sich schnell. Diese Modelle haben sich für lokalen Betrieb bewährt — nach Größe und Einsatzgebiet.
Llama 3 — Meta
Llama 3.3
Meta gibt es strategisch frei — nicht aus Philanthropie sondern als Wettbewerbsstrategie
8GB RAM für 8B
Lokal betrieben vollständig DSGVO-konform
Mistral — Mistral AI
Mistral Small 3.1
Einziges Modell das beide Wege bedient: EU-API und lokaler Open-Weight-Betrieb
8GB RAM für 7B
Europäischer Anbieter — API DSGVO-konform, lokal sowieso
DeepSeek — DeepSeek
DeepSeek V3 / R1
Beweist dass Frontier-Performance keine Milliarden-Budgets braucht
8GB RAM für 7B
API-Nutzung kritisch (China) — lokal betrieben DSGVO-konform
Gemma — Google DeepMind
Gemma 2
Kleinste Modelle mit überraschend guter Qualität
4GB RAM für 2B
Lokal betrieben DSGVO-konform
Generiert: 11.5.2026 · Alle Modelle: Open Source AI Übersicht
Open Source AI
Praktisch einsteigen — begleitet
Du willst Open Source AI konkret in eurer Organisation ausprobieren? Ich begleite euch vom ersten lokalen Modell bis zur eigenen Lösung.