Der CO₂-Fußabdruck einer Künstlichen Intelligenz (KI)

TL;DR: Wie steht es eigentlich um die Umweltbilanz von semantha? Künstliche Intelligenz (KI) wird oft als Klimaretter verkauft: mit ihrer Hilfe sollen Lösungen für Umweltprobleme – zum Beispiel im Verkehr – gefunden werden. Nur selten werden dabei die Umweltkosten von KI in diese Überlegungen einbezogen. In diesem Blogartikel zeigen wir, dass wirklich viel Energie für das Training aktueller NLP-Modelle aufgewendet werden muss und dass sich das trotz allem lohnt. Oder wusstest du, dass du mit einer KI im Bereich Dokumentverwaltung über 150 Flüge von Frankfurt nach New York an CO₂ sparen kannst? Von den eingesparten Arbeitskosten gar nicht zu sprechen. Mehr dazu jetzt….

Ökologisch dank IT?

Ja, KI ist seit ein paar Jahren wieder in Mode – genauso, wie über die Verkehrswende^[1] zu diskutieren und Energieeffizienz anzupreisen: Die EU hat den European Green Deal^[2] ins Leben gerufen und will Europas Weg in eine klimaneutrale Zukunft ebnen. Große Beratungshäuser^[3] beginnen damit, ihre Mandanten zu Themen der Klimaneutralität zu beraten, Versicherungsunternehmen stellen das Thema Nachhaltigkeit ins Rampenlicht^[4]. Doch wie sieht es damit wirklich aus? Diese Frage stellen nicht nur wir uns, sondern auch die Politik^[5], Lehrstühle an Universitäten^[6], die akademische Community^[7] und es gibt sogar Podcasts^[8] zum Thema.

Im Fall von semantha steht – wie bei vielen KI-Systemen – auf der Ausgabenseite natürlich der Energiebedarf für Training und Produktivbetrieb. Betrachtet man den CO2-Fußabdruck von KI-Lösungen, so muss man aber den Gesamtbedarf des Prozesses betrachten: und auf der Seite des “alten” Prozesses steht im einfachsten Fall ein manueller Prozess, der von Mitarbeitern durchgeführt werden muss.
Diese Mitarbeiter werden in ihrer Arbeit auch heute schon von Computern unterstützt, doch bilden diese meist nur den manuellen Prozess digital ab – quasi auf der untersten Stufe der Digitalisierung. Hinzu kommt, dass wir semantha so gebaut haben, dass wir gerade nicht für jeden neuen Kunden oder Anwendungsfall ein neues Training von Grund auf durchführen müssen. Im einfachsten Fall können wir semantha genau so einsetzen, wie wir sie im Labor trainiert haben – es entstehen also durch den Einsatz beim Kunden keine weiteren Trainingsaufwände. Wenn wir semantha mit dem Fachjargon des Anwendungsfalls vertraut machen, führen wir in der Regel auch kein Training ihres Sprachverständnisses von Grund auf durch, sondern starten mit den bestehenden Modellen und justieren diese nur noch nach. Hierdurch wird die Gesamt-CO₂-Bilanz des Systems natürlich besser als bei einem System, das “nach klassischem KI-Vorgehen” jedes mal aufs Neue trainiert werden muss.

Modellrechnung

Um unsere Behauptungen von oben etwas zu untermauern, haben wir ein Rechenmodell aufgestellt, das wir euch zeigen möchten. Natürlich ist das keine exakte Abbildung der Realität, aber man bekommt dadurch eine sehr gute Vorstellung, wie viel Energie hierbei umgesetzt wird. Da das Basistraining bei semantha nur einmalig notwendig ist, vereinfachen wir an dieser Stelle das Modell und streichen das Training aus der Rechnung. Wer das Basistraining in die Rechnung einbeziehen möchte, kann am Ende bei Semantha noch 0,75kg CO₂ hinzurechnen und für’s Justieren für den Fachjargon jeweils ein halbes Kilo CO₂^[9].

Um den CO2-Fußabdruck zu bestimmen, gehen wir davon aus, dass jeder Mitarbeiter im Unternehmen beim Erledigen seiner Aufgabe einen PC (110W) nebst Monitor (60W) zur Verfügung hat und seinen PC zu etwa 25% auslastet; eine GPU benötigt er dabei nicht. Die power usage effectiveness (PUE) haben wir mit 1,58 angenommen^[10]. Demgegenüber stellen wir semantha, die für alle Mitarbeiter auf nur einem Serversystem läuft. Es benötigt 165W, verfügt aber nicht über einen Monitor; auch hier gehen wir von einer 25%igen Auslastung aus. Semantha benötigt für den Betrieb ebenfalls keine GPU – die brauchen wir nur für das Basistraining und die Justierung der Modelle für den Fachjargon.

Um von den Verbrauchswerten (und den Einsparungen) in kWh auf einen CO₂-Fußabdruck zu kommen, werfen wir noch einen Blick auf den Strommix – den habt ihr vermutlich schon in euren privaten Stromrechnungen gesehen. Das Umweltbundesamt nimmt an, dass bei der Stromproduktion im Jahr 2022 pro kWh 0,434kg CO2 erzeugt werden^[11]. Zahlen für die USA liegen je nach Quelle zwischen 0,432 kg/kWh (wie im Paper von Stubell et al.) und 0,707 kg/kWh (wie in den offiziellen Zahlen der EPA für 2018^[12]).

Damit haben wir alles zusammen, um die CO2-Emissionen eines Prozesses abzuschätzen. Nehmen wir an, ein Betrieb habe 100 Mitarbeiter, die dieselbe Aufgabe jeweils 30 mal im Jahr durchführen müssen und dafür jeweils eine Arbeitswoche benötigen (also inkl. Recherche, Nachdenken usw.). Dann kommen wir auf 100 x 30 x 40h x (25% x 110W + 60W) x 1,58 = 16.590 kWh. Gemessen am Deutschen Energiemix gibt das einen CO₂-Ausstoß von 7,20 Tonnen.

Diesem Wert stellen wir die Bilanz eines Prozesses gegenüber, der von semantha unterstützt wird: Die Basisrechnung ist dabei dieselbe. Wir gehen allerdings davon aus, dass semantha für die Bearbeitung einer Anfrage 2 Minuten Rechenzeit unter Volllast benötigt und die Mitarbeiter mit ihrer Antwort nur noch 4h pro Aufgabe (also nur noch 1.659 kWh). semantha benötigt dafür 100 x 30 x 0,03h x (100% x 165W) x 1,58 = 26,07 kWh also 12,20 kg CO₂. Damit hätten wir also 14.905 kWh und gemessen am Deutschen Energiemix 6,469 Tonnen CO₂ gespart. Um das ganze in einen Kontext zu setzen, hier ein paar CO2-Werte zum Vergleich^[13]:

Mit dem Rechner unten auf der Seite könnt ihr die Rechnung der Umweltbilanz auch noch einmal mit anderen Annahmen durchspielen, zum Beispiel mit mehr Mitarbeitern, weniger Zeiteinsparung, mehr semantha-Rechenzeit pro Aufgabe und so weiter.

Ökologischer dank IT!

semantha kann einen wertvollen Beitrag zur Prozessverbesserung beitragen und dadurch zu erheblichen Einsparungen beim CO2-Fußabdruck eines Unternehmens leisten. Das liegt vor allem daran, dass wir semantha nicht für jeden Anwendungsfall neu trainieren müssen (und sind wir mal ehrlich: bei Standard-Machine-Learning bleibt es selten bei nur einem Trainingszyklus) und auch bei Änderungen an der Sachlage (neue Informationen können berücksichtigt werden, Regularien ändern sich usw.) können wir semanthas library anpassen anstelle des genutzten Sprachmodells.

Betrachten wir das Basistraining explizit, so sehen wir, dass wir weit unter dem Energiebedarf eines aktuellen NLP-Modells liegen: Für semantha  benötigen wir nur 0,75kg wohingegen das Basistraining von BERT mit über 700kg zu Buche schlägt^[9].

Quellen und Referenzen

1. Zum Beispiel der VDW auf der EMO Hannover 2019 https://vdw.de/en/start-ups-reducing-co2-levels-with-artificial-intelligence/
2. https://ec.europa.eu/info/strategy/priorities-2019-2024/european-green-deal_en
3. Zum Beispiel Ernst & Young Deutschland mit EYCarbon und pwc (https://www.aa.com.tr/en/energy/regulation-renewable/artificial-intelligence-can-be-used-to-reduce-emissions/25166).
4. „Jetzt erst recht“: Big Player der Branche sehen Corona als Nachhaltigkeitsbeschleuniger 19. Mai 2020 in Versicherungswirtschaft heute, https://versicherungswirtschaft-heute.de/schlaglicht/2020-05-19/jetzt-erst-recht-big-player-der-branche-sehen-corona-an-nachhaltigkeitsbeschleuniger/
5. Frage an die Europäische Kommission von Eugen Jurzyca “Carbon footprint of artificial intelligence (AI)”
6. Institute for Energy Efficiency @ UCSB, Santa Barbara, California
7. Emma Strubell, Ananya Ganesh, Andrew McCallum “Energy and Policy Considerations for Deep Learning in NLP” und Ameet Talwalkar “AI in the 2020s Must Get Greener—and Here’s How” in IEEE Spectrum
8. Twiml talk with Emma Strubell “Environmental Impact of Large-Scale NLP Model Training”
9. Für das Basistraining von Semantha benötigen wir etwa 1,56 kWh und für die Justierung auf einen Jargon etwa 1,04 kWh – das entspricht in etwa 0,74kg bzw. 0,5kg CO₂. Im Gegensatz dazu schlägt bspw. das Training BERT mit 1.503 kWh und das Anpassen an einen Jargon nochmals mit 19 kWh zu Buche – eine einzelne (!) Anfrage an BERT benötigt satte 0.12 kWh. Glaubst du nicht? Detailliert steht das im Papier unter [6].
10. Das entspricht dem 2019 für 2018 ermittelten Schnitt, den Rhonda Ascierto vom Uptime Institute in ihrem Global Data Center Survey ermittelt hat. Der Trend der PUE zeigt zwar nach unten, aber die Kurve ist schon recht flach, sodass wir auf eine aktualisierte Zahl warten und nicht selbst schätzen. Falls du neuere Zahlen kennst – einfach melden 😉
11. Quelle: Umweltbundesamt: Entwicklung der spezifischen Treibhausgas-Emissionen des deutschen Strommix in den Jahren 1990 – 2022
12. EPA (2019) AVERT, U.S. national weighted average CO2 marginal emission rate, year 2018 data. U.S. Environmental Protection Agency, Washington, DC
13. Hierzu gibt es verschiedene Quellen: Statista, Atmosfair