Watt Counts: Auf dem Weg zu energieeffizienter Inferenz von Large Language Models

Watt Counts: Dieses Projekt mindert den schnell wachsenden Energieverbrauch der LLM-Inferenz (Large Language Models) bei KMUs. Ziel ist die Entwicklung eines Benchmarks, eines Datensatzes und eines Modells, um Energieeffizienz, Kosten und Ergebnisqualität zu optimieren.

Eckdaten

Kontakt

Beschreibung

Obwohl der hohe Energiebedarf beim Training von Large Language Models (LLMs) weithin anerkannt ist, wird der Energie-Fussabdruck ihrer Inferenz oft unterschätzt. Mit der zunehmenden lokalen Bereitstellung von LLMs für Inferenz durch kleine und mittlere Unternehmen wächst der Gesamtenergieverbrauch rapide, was negative ökologische und ökonomische Folgen hat, darunter steigende Kohlenstoffemissionen und höhere Energiepreise. Unsere Forschung zeigt, dass GPUs die Hauptenergieverbraucher sind und bis zu 90% der gesamten Systemleistung beanspruchen.

Die zentrale Herausforderung, die die Ausgangslage bildet, ist die Frage: Welche Kombination aus Modell, Quantisierung und Inferenz-Framework bietet den besten Kompromiss zwischen Rechenkosten, Energieverbrauch und Ergebnisqualität für ein spezifisches Einsatzszenario und die vorhandene Hardware?

Die Zielsetzung des Projekts ist es, Forschende, Entwickler und Organisationen bei der Bewältigung dieser Herausforderung zu unterstützen und damit zur Steigerung der Energieeffizienz von LLM-Inferenz beizutragen.

Das Vorgehen gliedert sich in drei Hauptarbeitspakete (WPs):

Entwicklung eines umfassenden LLM-Inferenz-Energie-Benchmarks (WP1).
Erstellung eines offenen Datensatzes zu den Energieverbrauchs- und Leistungsmessungen (WP2).
Entwicklung eines neuartigen prädiktiven Modells (WP3), das fundierte Entscheidungen zur Optimierung der LLM-Inferenz ermöglicht.