Der CO²-Fußabdruck einer Künstlichen Intelligenz (KI)

TL;DR: Wie steht es eigentlich um die Umweltbilanz von semantha®? Künstliche Intelligenz (KI) wird oft als Klimaretter verkauft: mit ihrer Hilfe sollen Lösungen für Umweltprobleme – zum Beispiel im Verkehr – gefunden werden. Nur selten werden dabei die Umweltkosten von KI in diese Überlegungen einbezogen. In diesem Blogartikel zeigen wir, dass wirklich viel Energie für das Training aktueller NLP-Modelle aufgewendet werden muss und dass sich das trotz allem lohnt. Oder wusstest du, dass du mit einer KI im Bereich Dokumentverwaltung über 150 Flüge von Frankfurt nach New York an CO2 sparen kannst? Von den eingesparten Arbeitskosten gar nicht zu sprechen. Mehr dazu jetzt….

Ökologisch dank IT?

Ja, Künstliche Intelligenz ist seit ein paar Jahren wieder in Mode – genauso, wie über die Verkehrswende[1] zu diskutieren und Energieeffizienz anzupreisen: Die EU hat den European Green Deal[2] ins leben gerufen und will Europas Weg in eine klimaneutrale Zukunft ebnen. Große Beratungshäuser[3] beginnen damit, ihre Mandanten zu Themen der Klimaneutralität zu beraten. Doch wie sieht es damit wirklich aus? Diese Frage stellen nicht nur wir uns, sondern auch die Politik[5], Lehrstühle an Universitäten[6], die akademische Community[7] und es gibt sogar Podcasts[8] zum Thema.

Im Fall von semantha® steht – wie bei vielen KI-Systemen – auf der Ausgabenseite natürlich der Energiebedarf für Training und Produktivbetrieb. Betrachtet man die Umweltbilanz von Lösungen mit Künstlicher Intelligenz, so muss man aber den Gesamtbedarf des Prozesses betrachten. Auf der Seite des “alten” Prozesses steht im einfachsten Fall ein manueller Prozess, der von Mitarbeitern durchgeführt werden muss. Diese Mitarbeiter werden in ihrer Arbeit auch heute schon von Computern unterstützt, doch bilden diese meist nur den manuellen Prozess digital ab – quasi auf der untersten Stufe der Digitalisierung. Hinzu kommt, dass wir semantha® so gebaut haben, dass wir gerade nicht für jeden neuen Kunden oder Anwendungsfall ein neues Training von Grund auf durchführen müssen. (Infos für Experten) Im einfachsten Fall können wir semantha genau so einsetzen, wie wir sie im Labor trainiert haben – es entstehen also durch den Einsatz beim Kunden keine weiteren Trainingsaufwände. Wenn wir semantha® mit dem Fachjargon des Anwendungsfalls vertraut machen, führen wir in der Regel auch kein Training ihres Sprachverständnisses von Grund auf durch, sondern starten mit den bestehenden Modellen und justieren diese nur noch nach. Hierdurch wird die Gesamt-CO2-Umweltbilanz des Systems natürlich besser als bei einem System, das “nach klassischem KI-Vorgehen” jedes mal aufs Neue trainiert werden muss.

Modellrechnung

Um unsere Behauptungen von oben etwas zu untermauern, haben wir ein Rechenmodell zur Umweltbilanz unserer Künstlichen Intelligenz aufgestellt, das wir euch zeigen möchten. Natürlich ist das keine exakte Abbildung der Realität, aber man bekommt dadurch eine sehr gute Vorstellung, wie viel Energie hierbei umgesetzt wird. Da das Basistraining bei semantha® nur einmalig notwendig ist, vereinfachen wir an dieser Stelle das Modell und streichen das Training aus der Rechnung. Wer das Basistraining in der Rechnung berücksichtigen möchte, kann am Ende bei Semantha noch 0,75kg CO2 hinzurechnen und für’s Justieren für den Fachjargon jeweils ein halbes Kilo CO2.[9]

Um den Umweltbilanz (CO2-Fußabdruck) zu bestimmen, gehen wir davon aus, dass jeder Mitarbeiter im Unternehmen beim erledigen seiner Aufgabe einen PC (110W) nebst Monitor (60W) zur Verfügung hat und seinen PC zu etwa 25% auslastet; eine GPU benötigt er dabei nicht. Die power usage effectiveness (PUE) haben wir mit 1,58 angenommen[10]. Demgegenüber stellen wir semantha®, die für alle Mitarbeiter auf nur einem Serversystem läuft. Es benötigt 165W, verfügt aber nicht über einen Monitor; auch hier gehen wir von einer 25%igen Auslastung aus. Unsere Künstliche Intelligenz semantha® benötigt für den Betrieb ebenfalls keine GPU – die brauchen wir nur für das Basistraining und die Justierung der Modelle für den Fachjargon.

Um von den Verbrauchswerten (und den Einsparungen) in kWh auf einen CO2-Fußabdruck zu kommen, werfen wir noch einen Blick auf den Strommix – den habt ihr vermutlich schon in euren privaten Stromrechnungen gesehen. Das Bundesumweltamt nimmt an, dass bei der Stromproduktion pro kWh 0,468kg CO2 erzeugt werden[11]. Zahlen für die USA liegen je nach Quelle zwischen 0,432 kg/kWh (wie im Paper von Stubell et al.) und 0,707 kg/kWh (wie in den offiziellen Zahlen der EPA für 2018[12]).

Damit haben wir alles zusammen, um die CO2-Emissionen eines Prozesses abzuschätzen. Nehmen wir an, ein Betrieb habe 100 Mitarbeiter, die dieselbe Aufgabe jeweils 30 mal im Jahr durchführen müssen und dafür jeweils eine Arbeitswoche benötigen (also inkl. Recherche, Nachdenken usw.). Dann kommen wir auf 100 x 30 x 40h x (25% x 110W + 60W) x 1,58 = 16.590 kWh. Gemessen am Deutschen Energiemix gibt das einen CO2-Ausstoß von 7,68 Tonnen.

Diesem Wert stellen wir die Umweltbilanz eines Prozesses gegenüber, der von semantha® unterstützt wird: Die Basisrechnung ist dabei dieselbe. Wir gehen allerdings davon aus, dass semantha für die Bearbeitung einer Anfrage 2 Minuten Rechenzeit unter Volllast benötigt und die Mitarbeiter mit ihrer Antwort nur noch 4h pro Aufgabe. semantha benötigt dafür 100 x 30 x 0,03h x (100% x 165W) x 1,58 = 26,07 kWh also 12,36 kg CO2. Damit hätten wir also 14.905 kWh und gemessen am Deutschen Energiemix 6,975 Tonnen CO2 gespart.

CO2 in Tonnen
Pro Kopf und Jahr 2017, Deutschland8,7
Pro Kopf und Jahr 2017 (USA)14,61
Pro Kopf und Jahr 2017 (Indien)1,6
Hin- und Rückflug FRA → JFK in einem A380-800 pro Person3,226
12.000 km Autofahren in Deutschland mit einem Mittelklassewagen2
CO2-Emissionen zum Vergleich[13].

Mit dem Rechner unten auf der Seite könnt ihr die Rechnung der Umweltbilanz auch noch einmal mit anderen Annahmen durchspielen, zum Beispiel mit mehr Mitarbeitern, weniger Zeiteinsparung, mehr semantha-Rechenzeit pro Aufgabe und so weiter.

Ökologischer dank IT!

semantha® kann einen wertvollen Beitrag zur Prozessverbesserung beitragen und dadurch zu erheblichen Einsparungen beim CO2-Fußabdruck eines Unternehmens leisten. Das liegt vor allem daran, dass wir semantha® nicht für jeden Anwendungsfall neu trainieren müssen (und sind wir mal ehrlich: bei Standard-Machine-Learning bleibt es selten bei nur einem Trainingszyklus) und auch bei Änderungen an der Sachlage (neue Informationen können berücksichtigt werden, Regularien ändern sich usw.) können wir semanthas library anpassen anstelle des genutzten Sprachmodells.

Betrachten wir das Basistraining explizit, so sehen wir, dass wir weit unter dem Energiebedarf eines aktuellen NLP-Modells liegen: Für semantha®  benötigen wir nur 0,75kg wohingegen das Basistraining von BERT mit über 700kg zu Buche schlägt[9].

Mitarbeiter
Minuten Ø Bearbeitungszeit (semantha®)
Stunden Ø Verarbeitungszeit (Mensch allein)
Stunden Ø Verarbeitungszeit (Mensch unterstützt von semantha®)
Anfragen / Jahr
Manueller Prozess Prozess mit semantha®
Mensch semantha®
Verarbeitungszeit (Mensch + Maschine) h h
Gesamtzeit h h h
Zeitersparnis h
Interne Gesamtkostenabrechnung (Tagessatz)
Einsparung von Personalkosten
Gesamt Energie kWh kWh kWh
Gesamt CO2 kg kg kg
Gesamt CO2 t t t
Gesamte CO2-Einsparungen t
Das entspricht dem…
1.60-fachen einer Ø-Person/Jahr in Deutschland.
0.95-fachen einer Ø-Person/Jahr in den USA.
8.72-fachen einer Ø-Person/Jahr in Indien.
6.98-fachen eines Mittelklassewagens für 12.000 km.
4.32-fachen eines Hin- und Rückflug von Frankfurt (FRA) nach New York (JFK) in einem Airbus A380-800.

Quellen und Referenzen

  1. Zum Beispiel der VDW auf der EMO Hannover 2019 https://vdw.de/en/start-ups-reducing-co2-levels-with-artificial-intelligence/
  2. https://ec.europa.eu/info/strategy/priorities-2019-2024/european-green-deal_en
  3. Zum Beispiel Ernst & Young Deutschland mit EYCarbon und pwc (https://www.aa.com.tr/en/energy/regulation-renewable/artificial-intelligence-can-be-used-to-reduce-emissions/25166).
  4. „Jetzt erst recht“: Big Player der Branche sehen Corona als Nachhaltigkeitsbeschleuniger 19. Mai 2020 in Versicherungswirtschaft heute, https://versicherungswirtschaft-heute.de/schlaglicht/2020-05-19/jetzt-erst-recht-big-player-der-branche-sehen-corona-an-nachhaltigkeitsbeschleuniger/
  5. Frage an die Europäische Kommission von Eugen Jurzyca “Carbon footprint of artificial intelligence (AI)”
  6. Institute for Energy Efficiency @ UCSB, Santa Barbara, California
  7. Emma Strubell, Ananya Ganesh, Andrew McCallum “Energy and Policy Considerations for Deep Learning in NLP” und Ameet Talwalkar “AI in the 2020s Must Get Greener—and Here’s How” in IEEE Spectrum
  8. Twiml talk with Emma Strubell “Environmental Impact of Large-Scale NLP Model Training”
  9. Für das Basistraining von Semantha benötigen wir etwa 1,56 kWh und für die Justierung auf einen Jargon etwa 1,04 kWh – das entspricht in etwa 0,74kg bzw. 0,5kg CO2. Im Gegensatz dazu schlägt bspw. das Training BERT mit 1.503 kWh und das Anpassen an einen Jargon nochmals mit 19 kWh zu Buche – eine einzelne (!) Anfrage an BERT benötigt satte 0.12 kWh. Glaubst du nicht? Detailliert steht das im Papier unter [6].
  10. Das entspricht dem 2019 für 2018 ermittelten Schnitt, den Rhonda Ascierto vom Uptime Institute in ihrem Global Data Center Survey ermittelt hat. Der Trend der PUE zeigt zwar nach unten, aber die Kurve ist schon recht flach, sodass wir auf eine aktualisierte Zahl warten und nicht selbst schätzen. Falls du neuere Zahlen kennst – einfach melden 😉
  11. Quelle: Umweltbundesamt: Entwicklung der spezifischen Kohlendioxid-Emissionen des deutschen Strommix 1990-2018 und erste Schätzungen 2019 im Vergleich zu CO2-Emissionen der Stromerzeugung
  12. EPA (2019) AVERT, U.S. national weighted average CO2 marginal emission rate, year 2018 data. U.S. Environmental Protection Agency, Washington, DC
  13. Hierzu gibt es verschiedene Quellen: Statista, Atmosfair

carbon emissions, co2 reduction, environment, European Green Deal, green IT, semantha, training, training costs, Umweltschutz

Im Vergleich zu anderen KIs, ist die CO2-Bilanz von semantha® um ein vielfaches besser.

Das FORBES Magazin beschreibt uns mit den Worten "Hirn mit künstlicher Intelligenz".