Recursive Flint in Ollama passt nicht in 16 GB Arbeitsspeicher

Recursive Flint lässt sich über Ollama beziehen, auf macOS seit dem 21. Oktober 2026, auf Linux und Windows seit dem 22. Oktober 2026. Der Befehl lautet „ollama run flint“. Die Standarddatei „flint:latest“ ist laut Ollama-Bibliothek 23 GB groß, in 16 GB Arbeitsspeicher passt sie nicht. Das Modell hat 39,8 Milliarden Parameter. Als Mixture-of-Experts nutzt es pro Token nur etwa 2,5 Milliarden davon, die Datei enthält aber alle. Als Ollama-Version bietet sich die stabile 0.40.11 vom 24. Oktober 2026 an; 0.40.12-rc0 vom 27. Oktober 2026 ist ein Pre-Release. Ab 32 GB wird es rechnerisch machbar, wenn auch knapp (dm-Rechnung: 32 − 23 = 9 GB Rest).

Was Flint ist und was Recursive über das Modell sagt

Flint stammt von Recursive und ist laut Ollama-Bibliothek ein Mixture-of-Experts-Modell, gebaut für Coding-Agenten. Das sind Programme, die nicht nur Code vorschlagen, sondern selbstständig Dateien lesen, Befehle ausführen und Aufgaben in mehreren Schritten abarbeiten. Mixture-of-Experts bedeutet, dass das Modell intern aus vielen spezialisierten Teilnetzen („Experten“) besteht und für jedes Token nur einen kleinen Teil davon aktiviert.

Die Zahlen dazu: Die Ollama-Seite nennt 39,8 Milliarden Parameter insgesamt, davon rund 2,5 Milliarden aktiv pro Token. Die Release-Notiz von Ollama und der NVIDIA-Blog sprechen von einem 40-Milliarden-Modell; das ist die gerundete Angabe für dasselbe Modell. Die Gewichte stehen laut NVIDIA auf Hugging Face unter der Lizenz Apache 2.0.

Beim Kontextfenster, also der Textmenge, die das Modell gleichzeitig berücksichtigt, weichen die Angaben von Ollama leicht voneinander ab. Die Release-Notiz von Ollama nennt 262K Token, die Tags in der Bibliothek 256K. Beides ist dieselbe Größenordnung: 262.144 Token entsprechen 256 × 1.024 (dm-Rechnung).

Leistungszahlen stammen ausschließlich vom Hersteller. Laut Recursive erreicht Flint 74,2 % im Test SWE-bench Verified, bei dem Modelle echte Programmierfehler aus Open-Source-Projekten beheben sollen. Im Terminal-Bench 2.1, der Aufgaben in der Kommandozeile prüft, nennt Recursive 54,9 %. Die Ollama-Seite führt zusätzlich 89,7 % im SWE-bench Pro v2 auf, ebenfalls als Herstellerangabe.

Ollama selbst relativiert diese Werte auf der Modellseite: Es handle sich um vom Herausgeber berichtete Ergebnisse, Testaufbau und Laufzeitumgebung könnten die Werte beeinflussen. Weder Ollama noch NVIDIA nennen unabhängige Messungen, und dm hat die Herstellerzahlen nicht nachgeprüft. Für die Frage, ob Flint auf einem bestimmten Rechner startet, sind sie ohnehin zweitrangig; entscheidend ist die Dateigröße.

Bemerkenswert ist das Verhältnis aus Gesamt- und aktiven Parametern. Rund 2,5 von 39,8 Milliarden sind etwa 6 % (dm-Rechnung: 2,5 ÷ 39,8 ≈ 0,063). Das kann die Rechenarbeit pro Token begrenzen, senkt aber nicht den Platzbedarf der Gewichte im Speicher. Welches Tempo daraus auf Heimhardware folgt, beziffern weder Ollama noch NVIDIA.

So starten Sie Flint in Ollama

Ollama ist ein Programm, das Sprachmodelle herunterlädt und lokal ausführt, bedient über Kommandozeile oder eine lokale Schnittstelle. Flint kam mit Version 0.40.8 am 21. Oktober 2026 hinein. Die Release-Notiz vermerkt, dass Flint zunächst nur unter macOS unterstützt wird und weitere GPU-Unterstützung in einer späteren Version folgt.

Mit 0.40.9 am 22. Oktober 2026 hielt Ollama fest, Flint laufe nun auch unter Linux und Windows. Wer eine ältere Installation als 0.40.8 verwendet, findet das Modell also nicht lauffähig vor und sollte zuerst aktualisieren. Die Versionsstände und ihre Notizen stehen auf der Release-Seite von Ollama auf GitHub.

Der Start erfolgt mit einem einzigen Befehl:

• ollama run flint lädt beim ersten Aufruf das Standard-Tag „flint:latest“ mit 23 GB herunter und öffnet danach eine Chat-Eingabe im Terminal.
• Andere Varianten wählen Sie über ein Tag hinter dem Modellnamen, etwa „flint:40b-a2b-q4_1“.

Der Download ist also bereits eine Hürde: 23 GB müssen auf die Platte, bevor überhaupt etwas im Arbeitsspeicher landet. Wer die Datei auf einem Laptop mit knappem Massenspeicher holt, sollte den freien Platz vorher prüfen (dm-Einordnung).

Zur Versionswahl: Die neueste stabile Ausgabe ist 0.40.11 vom 24. Oktober 2026. Version 0.40.12-rc0 vom 27. Oktober 2026 trägt auf GitHub die Markierung „Pre-release“. Laut Notizen bringt sie ein Update der MLX-Anbindung (MLX ist Apples Framework für maschinelles Lernen auf Apple Silicon) mit schnellerer Prompt-Verarbeitung für gemma, flint und laguna, dazu Unterstützung für DFlash2 und llama.cpp in Build b11901. Zur Stabilität dieses Pre-Release macht die Release-Seite keine Aussage.

Als dm-Einordnung: Für einen Rechner, auf dem Sie arbeiten, ist die stabile 0.40.11 die sicherere Wahl. Das Pre-Release lohnt allenfalls für Testläufe auf Apple-Hardware, wenn die schnellere Prompt-Verarbeitung interessiert, und nicht für Produktivsysteme.

Wie viel Arbeitsspeicher Flint braucht

Dieses Bild wurde komplett mit KI generiertProviderhiggsfieldModellgpt_image_2PromptTinkerer at a home desk with a mini PC and a monitor showing an abstract chat-style interface, a mug and small plant, evening lamp light. Photorealistic editorial magazine photo, 16:9. Absolutely no text, no letters, no numbers, no logos, no brand marks.

Die Ollama-Bibliothek listet sieben Tags, alle mit 256K Kontextfenster. Fünf davon sind 23 GB groß: „flint:latest“, „flint:40b“, „flint:40b-a2b“, „flint:40b-a2b-qat-int4“ sowie die als MLX gekennzeichnete Variante „flint:40b-a2b-gguf-nvfp4“. Das Tag „flint:40b-a2b-q4_1“ wiegt 26 GB, die ebenfalls als MLX gekennzeichnete „flint:40b-a2b-mlx-bf16“ 80 GB. Die Seite erwähnt außerdem, dass quantisierte Versionen für Apple Silicon und andere GPU-Hardware verfügbar sind. Quantisierung heißt, dass die Gewichte mit weniger Bit pro Wert gespeichert werden, was Platz spart.

Aus diesen Dateigrößen folgt eine einfache Faustrechnung. Beim Betrieb müssen die Gewichte im Speicher liegen, der Bedarf liegt also mindestens bei der Dateigröße. Dazu kommen der Kontext-Cache (Zwischenspeicher, der mit der Länge des Gesprächs wächst) und das Betriebssystem. Für beides nennt keine Quelle eine Zahl. Diese Übersicht ist deshalb eine dm-Rechnung aus den Dateigrößen der Ollama-Bibliothek und keine Herstellerangabe:

• 16 GB RAM: 23 GB Datei übersteigen 16 GB um 7 GB (23 − 16 = 7). Die Standardvariante lässt sich damit nicht vollständig laden. Auch die kleinste angebotene Datei ist größer als der Speicher.
• 32 GB RAM: 32 − 23 = 9 GB bleiben für Betriebssystem, Programme und Kontext-Cache. Das geht rechnerisch auf, wie komfortabel es bei langen Kontexten bleibt, belegt keine Quelle. Die 26-GB-Variante lässt nur 6 GB (32 − 26 = 6).
• 64 GB RAM: 64 − 23 = 41 GB Spielraum, bei der 26-GB-Datei sind es 38 GB. Die 80-GB-Variante (80 − 64 = 16 GB zu viel) passt auch hier nicht.

Dass nur 2,5 Milliarden Parameter aktiv sind, ändert an dieser Rechnung nichts. Welche Experten für das nächste Token gebraucht werden, steht erst während der Erzeugung fest, deshalb müssen alle bereitliegen. Die Dateigröße bleibt die Untergrenze, auch wenn die Rechenlast pro Token klein ist. Ob einzelne Laufzeiten Teile der Datei auslagern können, geht aus der Ollama-Bibliothek nicht hervor; ein Betrieb am Speicherlimit dürfte jedenfalls spürbar leiden (dm-Einordnung).

Bei Grafikkarten gilt dieselbe Logik mit dem Videospeicher. Laufen Teile des Modells auf einer GPU, zählt, wie viel Speicher dort verfügbar ist. Konkrete VRAM-Werte für Flint nennen weder Ollama noch NVIDIA. Wer RTX-Spark-Notebooks mit 64 oder 128 GB Speicher ins Auge fasst, kann die Rechnung für 64 GB als Orientierung nehmen: Gegen die 23 bis 26 GB der üblichen Varianten spricht dort rechnerisch nichts.

Bei kleinen Rechnern ist die Lage klar. Ein Raspberry Pi 5 taugt als Einstieg in lokale Sprachmodelle, aber nur für kleine Modelle; für eine 23-GB-Datei fehlt ihm der Speicher, Flint ist dort keine Option. Bei Mini-PCs hängt es an der Ausstattung des Einzelgeräts. Ob ein Gerät wie der Xiaomi AI Cube die Voraussetzung erfüllt, entscheidet allein sein verbauter Speicher gegen die Dateigröße, nicht der Zusatz „KI“ im Produktnamen.

Was lokal heißt und was offen bleibt

„Lokal“ bedeutet bei Flint zunächst: Das Modell läuft auf dem eigenen Rechner statt bei einem Cloud-Anbieter (dm-Einordnung). Ob der Rechner dafür ausreicht, ist die eigentliche Frage. Laut NVIDIA-Blog vom 21. Oktober 2026 läuft Flint auf RTX-Spark- und DGX-Spark-Systemen sowie auf GeForce-RTX- und RTX-PRO-Grafikkarten. Der Abschnitt dort heißt „A New Local Coding Model Optimized for RTX Spark“, die Optimierung zielt also auf diese Plattform.

Zur Geschwindigkeit liefert NVIDIA eine konkrete Zahl: Ein Spezialkernel („Eureka Machine“) steigere die Erzeugungsgeschwindigkeit auf RTX Spark um 55 %, ohne die Gewichte des Modells zu verändern. Das ist eine Angabe von NVIDIA und Recursive, nicht nachgemessen, und sie nennt einen Zuwachs, keine absolute Zahl. Wie viele Token pro Sekunde herauskommen, steht nirgends. Ein Kernel ist dabei ein kleines Rechenprogramm für die Grafik- oder KI-Hardware, das eine bestimmte Operation besonders effizient ausführt.

Eine zweite Einschränkung: Der Blog nennt keine Messwerte für Mini-PCs oder Notebooks anderer Hersteller. Das bedeutet nicht, dass Flint dort nicht läuft; es bedeutet, dass NVIDIA dazu nichts sagt. Wie sich lokale KI auf Mini-PCs allgemein schlägt, hängt von Speicher, Speicherbandbreite und Software ab, und für Flint nennen weder Ollama noch NVIDIA dazu Belastbares.

Auch Stromverbrauch, Kontext-Cache-Größe und Verhalten bei vollem 256K-Fenster beziffern weder Ollama noch NVIDIA. Wer Flint als Coding-Agent einsetzen will, arbeitet oft mit langen Kontexten, weil Projektdateien mit hineingeladen werden. Gerade dort wächst der Cache. Die 9 GB Reserve bei 32 GB RAM sind deshalb eine Rechengröße, keine Zusage (dm-Einordnung).

Was Sie selbst messen können, ohne auf Herstellerzahlen angewiesen zu sein (dm-Einordnung, kein Beleg aus Ollama oder NVIDIA): Der Aufruf „ollama run flint –verbose“ gibt nach jeder Antwort Zeitwerte aus, darunter die Erzeugungsrate in Token pro Sekunde. „ollama ps“ zeigt, wie viel Speicher das geladene Modell belegt und wie der Anteil zwischen CPU und GPU verteilt ist. Wer beides einmal mit einem kurzen und einmal mit einem sehr langen Prompt notiert, hat für den eigenen Rechner genau die Zahlen, die Ollama und NVIDIA nicht nennen: Tempo und tatsächlichen Speicherbedarf mit Kontext.

Diese Werte sind auch der sinnvollste Maßstab, bevor Sie Hardware für Flint anschaffen. Die Dateigrößen der Ollama-Bibliothek sind gesichert, alles darüber hinaus ist bislang Messaufgabe.