Kokale KI-Systeme: So geht's mit Ollama

In einer Zeit, in der KI-Tools wie ChatGPT alltägliche Helfer geworden sind, stellt sich eine wichtige Frage: Was passiert mit unseren sensiblen Daten? Wer Aufgaben an Cloud-basierte Chats delegiert, übermittelt diese an die Server der Betreiber. Mit dem Open-Source-Projekt Ollama gibt es eine elegante Lösung, um KI-Modelle direkt und sicher auf dem eigenen Mac zu betreiben.

Was ist Ollama und warum lokal betreiben?

Ollama ist ein kostenloses Tool, das es ermöglicht, große Sprachmodelle (LLMs) wie Llama 3, Mistral oder andere lokal auf dem Computer auszuführen. Der größte Vorteil liegt auf der Hand: Datenschutz. Ihre Anfragen, Dokumente und Ideen verlassen niemals Ihr Gerät.

Weitere Vorteile sind:

• Offline-Nutzung: Einmal eingerichtet, funktionieren die Modelle ohne Internetverbindung.
• Keine Kosten: Die Nutzung der Open-Source-Modelle ist kostenlos.
• Volle Kontrolle: Sie entscheiden, welche Modelle Sie verwenden und wie lange sie auf Ihrem System bleiben.

Die Voraussetzungen

Bevor Sie mit der Installation beginnen, stellen Sie sicher, dass Ihr System die folgenden Anforderungen erfüllt. Ollama ist dabei überraschend anpassungsfähig.

• Betriebssystem: Linux Windows, MacOS
• Hardware: Eine CPU mit 4 oder Mehr Cores wird für beste Performance empfohlen.
• Arbeitsspeicher (RAM): Mindestens 6-8 GB RAM. Für flüssiges Arbeiten mit größeren Modellen sind 16 GB oder mehr ideal.
• Festplattenspeicher: Planen Sie mehrere Gigabyte Speicherplatz für die KI-Modelle ein. Die Größe variiert je nach Modell (ca. 4-8 GB pro Modell).

Schritt-für-Schritt-Anleitung: Installation und erster Start

Die Einrichtung von Ollama ist erfreulich einfach und dauert nur wenige Minuten.

1. Ollama herunterladen und installieren

Besuchen Sie die offizielle Website von Ollama unter ollama.com und laden Sie die Version für ihr System herunter. Sie erhalten eine Datei oder für Linux ein Befehl. Öffnen Sie diese Datei.

3. Das erste KI-Modell ausführen 🚀

Ollama verwaltet Modelle über einfache Kommandos im Terminal. Lassen Sie uns ein populäres und leistungsstarkes Modell, Gemma3 1B, herunterladen und starten.

Geben Sie im Terminal folgenden Befehl ein:

ollama run gemma3:1b

Beim ersten Mal wird Ollama das Modell automatisch herunterladen. Dies kann je nach Internetgeschwindigkeit einige Minuten dauern. Sobald der Download abgeschlossen ist, startet eine interaktive Chat-Sitzung direkt in Ihrem Terminal. Sie können nun Fragen stellen oder Befehle erteilen, als würden Sie einen normalen Chatbot nutzen.

Weitere Modelle und grafische Hilfsmittel

gemma3 ist nur eines von vielen verfügbaren Modellen. Auf der Ollama-Website (ollama.com/search) finden Sie eine ständig wachsende Auswahl. Sie können ein anderes Modell einfach mit ollama run <modellname> starten.

Für alle, die die Kommandozeile scheuen, gibt es ebenfalls grafische Oberflächen (GUI) für Windows Öffnen sie die Ollama app.