Wer KI im Unternehmen einsetzen möchte, steht inzwischen vor einer grundsätzlichen Entscheidung: Soll das KI-Modell auf eigener Hardware laufen oder nutzt man einen Cloud-Dienst wie ChatGPT, Gemini, Claude, Microsoft Azure AI, Mistral oder Amazon Bedrock?
Aus Datenschutz- und Souveränitätssicht spricht einiges für lokale KI. Bei der Nachhaltigkeit ist die Antwort jedoch weniger eindeutig.
Ein kleines, gut quantisiertes Modell auf einem ohnehin vorhandenen Notebook kann ausgesprochen ressourcenschonend arbeiten. Wer dagegen extra einen leistungsfähigen GPU-Server anschafft, der anschließend 90 Prozent seiner Zeit ungenutzt herumsteht, kann mit einer professionell betriebenen Cloud-Lösung ökologisch deutlich schlechter dastehen.
Die entscheidende Frage lautet deshalb:
Welche Infrastruktur benötigt für meine konkrete Aufgabe die geringsten Ressourcen?
Dass KI einen erheblichen Ressourcenbedarf besitzt, haben wir bereits im ecologee-Beitrag über die ökologischen und gesellschaftlichen Herausforderungen von KI betrachtet. Bei der Entscheidung zwischen lokaler und Cloud-KI lohnt es sich daher, genauer hinzusehen.
Zunächst muss zwischen Training und Nutzung unterschieden werden
Bei Diskussionen über den Energieverbrauch von KI werden häufig zwei völlig unterschiedliche Dinge vermischt: das Training eines Modells und dessen anschließende Nutzung, die sogenannte Inferenz.
Wer beispielsweise ein Mistral-, Gemma- oder anderes Open-Weight-Modell mit Ollama oder LM Studio auf seinem Notebook betreibt, trainiert dieses Modell normalerweise nicht neu. Er führt lediglich die Inferenz lokal aus.
Der Ressourcenverbrauch, der beim ursprünglichen Training des Modells entstanden ist, verschwindet dadurch natürlich nicht. Für die Frage „lokal oder Cloud?“ ist deshalb in erster Linie der Energie- und Hardwarebedarf während der späteren Nutzung relevant.
Wie relevant auch diese Nutzungsphase inzwischen ist, zeigt Mistral mit einer vergleichsweise transparenten Lebenszyklusanalyse. Das Unternehmen beziffert den marginalen Fußabdruck einer 400-Token-Antwort seines Assistenten Le Chat auf 1,14 Gramm CO₂e und 45 Milliliter Wasser. Dabei berücksichtigt die Analyse auch vorgelagerte Auswirkungen wie die Herstellung der Serverhardware. Das Endgerät des Nutzers ist allerdings nicht enthalten.
Solche Zahlen zeigen zugleich, wie schwierig direkte Vergleiche zwischen Anbietern sind. Unterschiedliche Modelle, Antwortlängen, Rechenzentren und Systemgrenzen können zu völlig unterschiedlichen Ergebnissen führen.
Wann lokale KI besonders interessant ist
Lokale KI kann aus Nachhaltigkeitssicht sehr sinnvoll sein, wenn die dafür notwendige Hardware ohnehin vorhanden ist.
Ein modernes Notebook mit Apple Silicon, eine aktuelle Workstation oder ein bereits vorhandener Server kann kleinere und mittlere Sprachmodelle inzwischen problemlos ausführen. Zusätzliche Infrastruktur ist dann nicht zwingend notwendig.
Programme wie LM Studio machen diesen Ansatz auch für weniger technische Nutzer zugänglich. Nach dem Download eines Modells können Chat, Dokumentenanalyse und sogar ein lokaler API-Server vollständig offline betrieben werden. Daten und Dokumente müssen dabei das Gerät nicht verlassen.
Eine weitere sehr verbreitete Möglichkeit ist Ollama. Damit lassen sich Open-Weight-Modelle lokal ausführen und über eine API in Anwendungen integrieren. Interessant ist inzwischen, dass Ollama lokale und Cloud-Modelle innerhalb derselben Umgebung unterstützt. Damit lässt sich beispielsweise ein kleines Modell lokal verwenden und nur für besonders anspruchsvolle Aufgaben auf ein größeres Cloud-Modell wechseln.
Technisch noch näher an der eigentlichen Inferenz arbeitet llama.cpp. Die Open-Source-Lösung unterstützt zahlreiche Hardwareplattformen und insbesondere stark quantisierte Modelle. Modelle können beispielsweise mit 4, 5 oder 8 Bit statt mit wesentlich höheren numerischen Präzisionen betrieben werden. Dadurch sinken Speicherbedarf und häufig auch der Rechenaufwand erheblich.
Gerade für regelmäßig wiederkehrende Aufgaben kann dies interessant sein: Textklassifikation, Zusammenfassungen, lokale RAG-Systeme, Entwürfe oder die Analyse interner Dokumente benötigen häufig kein riesiges Frontier-Modell.
Das kleinere Modell ist häufig der größte Nachhaltigkeitshebel
Einer der wichtigsten Faktoren ist nicht der Standort des Rechenzentrums, sondern die Größe des verwendeten Modells.
Wer für jede einfache Zusammenfassung ein Modell mit hunderten Milliarden Parametern verwendet, benötigt erheblich mehr Rechenressourcen als bei einem kleineren Modell, das dieselbe Aufgabe ausreichend gut erledigt.
Das Prinzip ähnelt dem Right-Sizing klassischer IT-Systeme: Nicht maximale Leistung ist das Ziel, sondern die für die Aufgabe notwendige Leistung.
Bei lokalen Modellen wird dieser Effekt besonders sichtbar. Ein kleines quantisiertes Modell kann vielleicht vollständig im vorhandenen Arbeitsspeicher laufen. Ein wesentlich größeres Modell benötigt dagegen eine leistungsfähige GPU oder sogar mehrere Beschleuniger.
Quantisierung spielt dabei eine wichtige Rolle. Forschung zu lokalen Sprachmodellen zeigt jedoch auch, dass „weniger Bits“ nicht automatisch immer den niedrigsten Energieverbrauch bedeuten. Je nach Hardware und Modell existieren unterschiedliche Effizienzoptima.
Die richtige Strategie lautet deshalb:
Das kleinste Modell verwenden, das die Aufgabe zuverlässig erfüllt.
Warum die Cloud trotzdem sehr effizient sein kann
Große Cloud-Rechenzentren wirken zunächst wie das Gegenteil nachhaltiger IT: riesige Hallen voller Server und KI-Beschleuniger mit entsprechend hohem Strombedarf.
Der entscheidende Vorteil liegt jedoch in der Auslastung.
Ein lokaler GPU-Rechner eines Unternehmens wartet möglicherweise viele Stunden am Tag auf Arbeit. Ein Cloud-Anbieter kann dieselbe Hardware dagegen auf viele Kunden verteilen und Anfragen bündeln. Dadurch steigt die tatsächliche Nutzung der vorhandenen Hardware erheblich.
Zusätzlich kommen spezialisierte KI-Beschleuniger zum Einsatz.
Google entwickelt beispielsweise eigene TPUs und optimiert Modelle, Hardware und Software gemeinsam. Für einen durchschnittlichen Gemini-Textprompt ermittelte Google für Mai 2025 einen Energiebedarf von etwa 0,24 Wh. Nach Angaben des Unternehmens sank der Energiebedarf eines Median-Prompts innerhalb eines Jahres um den Faktor 33. Google weist allerdings selbst darauf hin, dass diese Werte eine Momentaufnahme darstellen und nicht auf jede Gemini-Anfrage übertragen werden können.
Auch die Effizienz der Hardware verbessert sich. Google gibt an, dass die aktuelle Ironwood-TPU nahezu 30-mal energieeffizienter arbeitet als die erste öffentlich angebotene Cloud-TPU aus dem Jahr 2018.
Bei AWS verfolgt man mit Inferentia einen ähnlichen Ansatz. Die Inferentia2-basierten EC2-Instanzen sollen nach Herstellerangaben bis zu 50 Prozent mehr Leistung pro Watt erreichen als vergleichbare EC2-Instanzen. AWS empfiehlt gleichzeitig ausdrücklich, Beschleuniger nur so lange zu betreiben, wie sie tatsächlich benötigt werden, und ungenutzte Instanzen automatisiert abzuschalten.
Das ist ein wichtiger Vorteil der Cloud: Ressourcen können theoretisch nur für die Dauer der tatsächlichen Berechnung bereitgestellt werden.
Der größte Fehler: Hardware nur für gelegentliche KI-Nutzung kaufen
Der ökologische Vorteil lokaler KI kann schnell verschwinden, wenn dafür zusätzliche Hardware angeschafft wird.
Eine leistungsfähige GPU besteht aus zahlreichen energie- und ressourcenintensiv hergestellten Komponenten. Hinzu kommen Arbeitsspeicher, Mainboard, Netzteil, Gehäuse und gegebenenfalls zusätzliche Kühlung.
Die Herstellung gehört deshalb zwingend zur Betrachtung.
Google kommt bei seiner Lebenszyklusanalyse eigener TPU-Hardware zu dem Ergebnis, dass derzeit zwar mehr als 70 Prozent der Lebenszyklusemissionen aus dem Betrieb stammen, die Herstellung der Hardware aber ebenfalls einen relevanten Anteil verursacht. Je sauberer der für den Betrieb verwendete Strom wird, desto bedeutender wird dieser Herstellungsanteil.
Für ein KMU bedeutet das ganz praktisch:
Ein bereits vorhandenes Notebook für lokale KI zu nutzen, ist etwas völlig anderes, als einen neuen Server mit zwei High-End-GPUs anzuschaffen, um darauf gelegentlich Dokumente zusammenzufassen.
In letzterem Fall dürfte ein Cloud-Dienst häufig die sinnvollere Ressourcennutzung darstellen.
Cloud-Anbieter unterscheiden sich erheblich
Auch „die Cloud“ ist keine einheitliche Technologie.
Wer Nachhaltigkeit berücksichtigen möchte, sollte deshalb nicht nur Modelle vergleichen, sondern auch deren Betreiber.
Google veröffentlicht inzwischen vergleichsweise konkrete Daten über Energieverbrauch von Gemini-Anfragen und die Effizienz seiner TPU-Infrastruktur. Microsoft veröffentlicht PUE- und WUE-Werte seiner Rechenzentren sowie Daten zu erneuerbaren Energien. AWS stellt mit Inferentia spezialisierte Hardware für effizientere Inferenz bereit. Mistral wiederum fällt positiv dadurch auf, dass das Unternehmen eine relativ umfassende Lebenszyklusanalyse für seine Modelle veröffentlicht hat.
Für Unternehmen sind daher beispielsweise Google Gemini beziehungsweise Vertex AI, Microsoft Azure AI beziehungsweise Azure OpenAI, Amazon Bedrock, Mistral AI sowie Dienste von OpenAI oder Anthropic mögliche Cloud-Plattformen.
Aus Nachhaltigkeitssicht sollte bei der Auswahl neben Funktion, Datenschutz, Preis und Modellqualität auch geprüft werden, ob der Anbieter belastbare Informationen zu Energie, Rechenzentrumsstandort, Stromversorgung und Ressourceneffizienz veröffentlicht. Viele tun dies und insbesondere Mistral und Google stechen hier positiv hervor.
Lokale KI hat dafür einen anderen großen Vorteil: Kontrolle
Nachhaltigkeit ist nicht der einzige Entscheidungsfaktor.
Bei lokal betriebenen Modellen bleiben Daten auf der eigenen Infrastruktur. LM Studio kann beispielsweise auch Dokumenten-RAG vollständig offline durchführen.
Gerade bei vertraulichen Unternehmensdaten kann das ein erheblicher Vorteil sein. Lokale KI reduziert zudem die Abhängigkeit von einzelnen Cloud-Anbietern und kann ein Baustein digitaler Souveränität sein.
Diese Vorteile lassen sich jedoch nicht automatisch in eingesparte Kilowattstunden übersetzen.
Datenschutz, Souveränität und Nachhaltigkeit sind miteinander verbunden, aber nicht identisch.
Für viele Unternehmen ist eine hybride Lösung am sinnvollsten
In der Praxis muss man sich deshalb möglicherweise gar nicht grundsätzlich zwischen lokal und Cloud entscheiden.
Ein interessantes Modell ist eine hybride KI-Architektur.
Einfache und häufig auftretende Aufgaben laufen beispielsweise mit einem kleinen Modell lokal. Sensible Dokumente verlassen das Unternehmen ebenfalls nicht. Wird dagegen eine besonders komplexe Analyse oder ein sehr leistungsfähiges Modell benötigt, erfolgt gezielt eine Anfrage an einen Cloud-Dienst.
Ollama unterstützt inzwischen beispielsweise sowohl lokale als auch Cloud-Modelle innerhalb derselben Umgebung. Auch über LM Studio oder llama.cpp lassen sich lokale APIs bereitstellen, die sich technisch ähnlich wie bekannte Cloud-Schnittstellen ansprechen lassen.
Damit lässt sich ein Prinzip umsetzen, das für nachhaltige KI besonders sinnvoll ist:
Local first – Cloud when needed.
Allerdings nur dann, wenn für den lokalen Teil keine unverhältnismäßig große zusätzliche Hardware angeschafft wird.
Was ist nun nachhaltiger?
Eine pauschale Antwort gibt es nicht. Für die Praxis lässt sich die Entscheidung jedoch relativ gut eingrenzen:
| Situation | Tendenziell sinnvoller |
|---|---|
| Kleines Modell läuft auf ohnehin vorhandenem Notebook | Lokal |
| Vertrauliche Dokumente und sensible Unternehmensdaten | Häufig lokal |
| Gelegentliche Nutzung eines sehr großen Modells | Cloud |
| Eigener GPU-Server müsste nur für KI neu angeschafft werden | Häufig Cloud |
| Sehr hohe und konstante KI-Auslastung im Unternehmen | Lokaler Server kann sinnvoll sein |
| Viele Nutzer teilen dieselbe lokale KI-Infrastruktur | Lokal kann sehr effizient werden |
| Frontier-Modelle werden nur sporadisch benötigt | Cloud |
| Unterschiedlich komplexe Aufgaben | Hybrid |
| Einfache Klassifikation, Zusammenfassung oder internes RAG | Kleines lokales Modell häufig ausreichend |
Der wichtigste Faktor ist dabei immer die tatsächliche Auslastung.
Ein GPU-System, das 24 Stunden täglich sinnvoll genutzt wird, ist etwas völlig anderes als ein High-End-Rechner, der für drei KI-Anfragen am Tag eingeschaltet bleibt.
Nachhaltige KI bedeutet vor allem Right-Sizing
Am Ende ähnelt die Entscheidung überraschend stark anderen Green-IT-Themen.
Auch bei Servern gilt: Nicht möglichst viel Hardware bereitstellen, sondern passend dimensionieren. Bei Storage gilt: Nicht alles unbegrenzt speichern. Und bei KI gilt entsprechend: Nicht automatisch das größte verfügbare Modell verwenden.
Bevor ein Unternehmen ein KI-System auswählt, sollte es deshalb vier Fragen beantworten:
Welche Aufgabe soll tatsächlich gelöst werden? Welches kleinste Modell erledigt diese Aufgabe zuverlässig? Ist dafür bereits geeignete Hardware vorhanden? Und wie häufig wird das Modell tatsächlich genutzt?
Erst danach sollte entschieden werden, ob die Berechnung lokal oder in der Cloud stattfindet, oder beides genutzt wird.
Fazit: Effizienz&Nutzungsprofil entscheidet
Lokale KI kann ausgesprochen nachhaltig sein – insbesondere wenn kleine, quantisierte Modelle auf ohnehin vorhandener Hardware genutzt werden.
Cloud-KI kann jedoch ebenfalls sehr effizient sein. Große Anbieter erreichen hohe Hardwareauslastungen, verwenden spezialisierte Beschleuniger und betreiben Rechenzentren mit einer Effizienz, die ein kleiner Unternehmensserverraum kaum erreichen kann.
Problematisch wird lokale KI vor allem dann, wenn für geringe Nutzung zusätzliche leistungsfähige Hardware angeschafft wird. Problematisch wird Cloud-KI dagegen, wenn für jede triviale Aufgabe unnötig große Modelle verwendet werden.
Die wahrscheinlich nachhaltigste KI-Strategie lautet deshalb nicht „Cloud first“ oder „Local first“.
Sondern:
Das kleinste geeignete Modell auf der effizientesten bereits verfügbaren Infrastruktur einsetzen – und nur dann mehr Ressourcen nutzen, wenn die Aufgabe sie wirklich benötigt.
Weiterführende Quellen
Mistral AI beschreibt in seiner Lebenszyklusanalyse zur Umweltwirkung von KI-Modellen unter anderem CO₂-, Wasser- und Ressourcenwirkungen von Training und Inferenz.
Google veröffentlicht eine Analyse des Energie- und Ressourcenverbrauchs von Gemini-Inferenz und Daten zur Effizienz seiner TPU-Hardware.
Microsoft veröffentlicht PUE- und WUE-Kennzahlen seiner Rechenzentren.
AWS beschreibt in seinem Sustainability Framework die Optimierung von KI-Beschleunigern und Inferentia-Instanzen.
Für lokale KI bieten LM Studio, Ollama und llama.cpp interessante Möglichkeiten, Modelle auf eigener Hardware zu betreiben.