Smarter, nicht größer: Kann es eine grüne Zukunft für generative KI geben?

Unser CTO Tim Straeter beleuchtet in diesem Artikel die Chancen und Herausforderungen generativer KI aus einer ökologischen Perspektive. Während große Sprachmodelle beeindruckende Effizienzgewinne und wirtschaftliche Potenziale eröffnen, verursachen sie gleichzeitig erhebliche Umweltkosten. Tim zeigt auf, warum kleinere, spezialisierte Modelle (SLM) eine nachhaltige Alternative darstellen können. Klare Vorteile sind mitunter geringerer Energiebedarf, niedrigere Betriebskosten und domänenspezifische Exzellenz. Er gibt zudem Impulse, wie Unternehmen generative KI verantwortungsvoll einsetzen können, um wirtschaftliche Innovation und ökologische Verantwortung in Einklang zu bringen.

Generative KI hat in den letzten Jahren einen beispiellosen Entwicklungssprung hingelegt. KI-Systeme wie große Sprachmodelle (LLM), die zur Erzeugung von Bild-, Audio- und Videomaterial genutzt werden, revolutionieren nicht nur die Technologiebranche, sondern bieten in nahezu allen Sektoren wirtschaftliche Chancen. Dem Impact allerdings, den sie auf die Umwelt haben, wird noch viel zu wenig Aufmerksamkeit zuteil.

Mittels generativer KI können heute viele zeitaufwändige Aufgaben effizienter und damit auf den ersten Blick kostengünstiger erledigt werden.

Dazu zählen insbesondere Aufgaben, die einem bestimmten Muster folgen. Beispielsweise im Marketing, wo die Generierung maßgeschneiderter Marketinginhalte für verschiedene Zielgruppen beschleunigt werden kann, zum Beispiel, wenn es um Produktbeschreibungen, Blogartikel und Social-Media-Content geht, aber auch im Designbereich durch die Ausgabe multipler Versionen eines Entwurfs. KI kommt auch bei der Entwicklung von UX-Prototypen und Software zum Einsatz, wo sie durch die Erstellung von Programmcode und der Identifizierung sowie Korrektur von Softwarefehlern unterstützt. Genauso treffen wir sie im Bereich Kundenservice und Support als hilfreiches Tool an.

Wird generative KI zur automatisierten Inhaltserstellung genutzt, sind bei einem geringerem Personalaufwand schnellere und mehr Ergebnisse möglich. Die Entwicklungszyklen verkürzen sich durch die Parallelität von Arbeitsschritten.

Wie so oft im Leben wird uns leider aber auch hier nichts einfach geschenkt: hinter der scheinbar gratis dazugewonnenen Effizienz verstecken sich Kosten, vor denen die Mehrheit ihre Augen gerade noch verschließt. Da wären zum einen jene für Entwicklung, Aufbau und Betrieb der Systeme. Diese werden aktuell häufig über Investorenkapital getragen. Und die restlichen? Die trägt zum Großteil unsere Umwelt.

Wie genau sehen diese Auswirkungen auf die Umwelt aus? Generative KI, die auf großen Sprachmodellen basiert, muss trainiert werden – und dazu müssen Unmengen von Daten verarbeitet werden. Damit diese Datenverarbeitung innerhalb wirtschaftlich interessanten Zeitintervallen möglich ist, bedarf es einer enormen Skalierung der Rechenleistung.

Aktuelle Schätzungen gehen davon aus, dass für das Training von großen Sprachmodellen wie dem GPT-4 Modell von Open-AI eine Rechenleistung von bis zu 100.000 GPU-Stunden notwendig war. Das entspricht in etwa dem CO₂-Äquivalent von 284 Tonnen, was etwa vergleichbar mit ca. 258 Hin- und Rückflügen zwischen Berlin und Zypern ist.

Aber auch der Betrieb und die Nutzung von großen Sprachmodellen, wie sie in der Regel für generative KI genutzt werden, hat seinen Preis. Eine einzelne Anfrage an einen Chatbot wie ChatGPT benötigt Schätzungen zufolge zehn Mal mehr Energie als eine klassische Suchmaschinenanfrage. Neben den benötigten Ressourcen wie Strom und Wasser müssen ebenfalls die besonderen Anforderungen an die zugrunde liegende Hardware und deren Nutzungsdauer in die Umweltbilanz aufgenommen werden.

Häufig bieten deshalb kleine, spezialisierte Sprachmodelle (SLM) eine hervorragende Alternative zu den bekannten großen Sprachmodellen. 

Im Gegensatz zu den oben beschriebenen großen Sprachmodellen können kleine Sprachmodelle deutlich ressourcenoptimierter trainiert und betrieben werden – bei vergleichbarer Leistung innerhalb ihres Einsatzgebiets.

Einige der relevantesten Vorteile kleiner Modelle sind:

• Drastisch reduzierter Energiebedarf: Kleine Sprachmodelle benötigen nur etwa 5–10 % der Rechenleistung großer Modelle (1–3 Milliarden Parameter im Vgl. zu 100+ Milliarden Parametern).

• Geringere Trainingskosten: Schon das Training eines kleinen Modells kann bis zu 95 % weniger CO₂ verursachen als das eines großen Modells.

• Domänenspezifische Exzellenz: Auf bestimmte Branchen oder Aufgaben zugeschnittene kleine Modelle können in ihrem „Spezial“-gebiet die Leistung großer Modelle sogar übertreffen

• Effizientere Inferenz: Der Betrieb ist auf Standardhardware oder sogar Mobilgeräten möglich – ganz ohne spezielle Serverinfrastruktur.

• Edge Computing: Diese lokale Ausführung auf Endgeräten reduziert Datenübertragungen – und den damit verbundenen Energieverbrauch.

• Geringere Latenz: Schnellere Antwortzeiten verbessern die Nutzererfahrung – und reduzieren gleichzeitig den Energieverbrauch pro Anfrage.

• Niedrigere Betriebskosten: Bis zu 90 % geringere Cloud-Computing-Kosten im Vergleich zu großen Modellen

• Demokratisierung: Auch kleinere Unternehmen können eigene Modelle trainieren und betreiben

• Schnellere Iteration: Kürzere Trainingszyklen ermöglichen agilere Entwicklung und schnellere Markteinführung

Diese Vorteile kleiner Sprachmodelle führen nicht nur zu einer höheren wirtschaftlichen Effizienz – insbesondere bei den Betriebskosten im Bereich des Cloud-Computing. Sie sorgen zeitgleich für eine spürbare Reduktion des CO₂-Fußabdrucks. 

Parallel zu dem Einsatz kleiner spezialisierter Sprachmodelle, sollte die sich ständig weiterentwickelnde Technologie im Bereich generativer KI im Auge behalten werden. So können effizientere Algorithmen im Bereich der Modellkomprimierung weitere Spezialisierung der Hardware und eine Wiederverwendung der Trainings (Learning Transfer) zu einer Reduzierung der benötigten Ressourcen führen.

Zusätzlich kann der bewusste und zielgerichtete Einsatz von generativer KI, insbesondere der kleinerer und spezialisierterer Modelle, zu einer besseren Umweltbilanz beitragen. Hier gilt es, die Potenziale für den Einsatz generativer KI zu analysieren und sich nicht durch den Hype um windige Versprechen verführen zu lassen. Es ist eben nicht „alles einfach komplett“ automatisierbar.

Generative KI bietet beeindruckende wirtschaftliche Vorteile und Effizienzsteigerungen, die ganze Branchen transformieren können. Diese Vorteile müssen jedoch gegen die erheblichen Umweltkosten abgewogen werden.

Für eine nachhaltige Zukunft der KI sind sowohl technologische Innovationen für effizientere Systeme als auch ein verantwortungsvoller Einsatz unter Berücksichtigung der Umweltbilanz notwendig. Unternehmen, die frühzeitig auf umweltbewusste KI-Strategien setzen, können langfristig nicht nur ökologische, sondern auch wirtschaftliche Vorteile erzielen.

Die zentrale Herausforderung besteht darin, die transformative Kraft generativer KI zu nutzen, ohne dabei die planetaren Grenzen zu überschreiten – eine Aufgabe, die nur durch das Zusammenspiel von Technologieentwicklung, unternehmerischer Verantwortung und politischer Steuerung gelingen kann.

Quellen:

• [Q1]: Strubell, E., Ganesh, A., & McCallum, A. 2019. Energy and Policy Considerations for Deep Learning in NLP. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 3645–3650. Online aufrufbar

• [Q2]: de Vries, A. 2023. The growing energy footprint of artificial intelligence. Joule, 7(10), 2191–2194. Online aufrufbar

• [Q3]: Luccioni, A. S., Viguier, S., & Ligozat, A. L. 2023. The Efficiency Misnomer: Mitigating the carbon impact of large language models. Journal of Machine Learning Research, 24(265), 1–28.

• [Q74: Patterson, D., Gonzalez, J., Le, Q., Liang, C., Munguia, L. M., Rothchild, D., So, D., Texier, M., & Dean, J. 2021. Carbon Emissions and Large Neural Network Training. arXiv preprint arXiv:2104.10350. Online aufrufbar

• [Q5]: Schwartz, R., Dodge, J., Smith, N. A., & Etzioni, O. 2020. Green AI. Communications of the ACM, 63(12), 54–63. Online aufrufbar

• [Q6]: Wu, C., Raghavendra, R., Gupta, U., Acun, B., Ardalani, N., Maeng, K., Chang, G., Behram, F., Huang, J., Bai, C., Gschwind, M., Gupta, A., Ott, M., Melnikov, A., Candido, S., Brooks, D., Narayanan, D., Hazelwood, K., & Jia, P. 2022. Sustainable AI: Environmental Implications, Challenges and Opportunities. MLSys 2022. Online aufrufbar

• [Q7]: Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. 2021. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610–623. Online aufrufbar

• [Q8]: Hooker, S. 2021. The Hardware Lottery. Communications of the ACM, 64(12), 58–65. Online aufrufbar

• [Q9]: Dodge, J., Sap, M., Marasović, A., Agnew, W., Ilharco, G., Groeneveld, D., Mitchell, M., & Gardner, M. 2021. Documenting Large Webtext Corpora: A Case Study on the Colossal Clean Crawled Corpus. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, 1286–1305. Online aufrufbar

• [Q10]: Touvron, H., Martin, L., Stone, K., Albert, P., Almahairi, A., Babaei, Y., Bashlykov, N., Batra, S., Bhargava, P., Bhosale, S., & others. 2023. Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv preprint arXiv:2307.09288. Online aufrufbar