☆ Speichern Energy Score — Eine Distanzmetrik zur Bewertung probabilistischer Vorhersageverteilungen

07/18/2026

Energy Score ist eine distanzbasierte Metrik zur Bewertung probabilistischer Modelle. Sie misst, wie gut eine vorhergesagte Wahrscheinlichkeitsverteilung mit den tatsächlich beobachteten Werten übereinstimmt. Anders als klassische Fehlermaße, die nur einen einzelnen Vorhersagewert betrachten, berücksichtigt der Energy Score sowohl die Position der Verteilung als auch deren Streuung. Dadurch lässt sich nicht nur die Genauigkeit einer Vorhersage, sondern auch die Qualität der modellierten Unsicherheit beurteilen. Grundlage dafür sind zwei Informationen: die Distanz zwischen den vorhergesagten Samples und der Realität sowie die Abstände zwischen den Samples innerhalb der Vorhersageverteilung.

Einfach erklärt: Eine klassische Vorhersage würde beispielsweise sagen: „Die Temperatur morgen beträgt 20 Grad“. Ein probabilistisches Modell beschreibt dagegen mehrere mögliche Ergebnisse: „Temperaturen zwischen 18 und 22 Grad sind wahrscheinlich“. Der Energy Score bewertet, ob diese erzeugten Samples nahe genug am tatsächlichen Wert liegen und ob die Verteilung gleichzeitig eine sinnvolle Breite besitzt. Eine Vorhersage wird also nicht nur danach bewertet, ob ein einzelner Wert getroffen wurde, sondern auch danach, ob die Unsicherheit realistisch dargestellt ist.

Der Energy Score bewertet probabilistische Vorhersageverteilungen durch die Kombination aus Distanz zum tatsächlichen Wert und Streuung der vorhergesagten Samples.

Methode (Funktionsweise, Eigenschaften usw.)

• Bewertung der gesamten Verteilung

  • Der Energy Score betrachtet die gesamte Vorhersageverteilung, die durch eine Menge von Samples repräsentiert wird, anstatt nur eine einzelne Punktvorhersage zu bewerten.
  • Dabei fließen sowohl die Nähe der Verteilung zum tatsächlichen Wert als auch die Größe ihrer Streuung in die Bewertung ein.
  • Zwei Modelle können denselben Mittelwert vorhersagen und trotzdem unterschiedliche Energy Scores erhalten, wenn sich ihre Unsicherheitsbereiche deutlich unterscheiden.
  • Der Score bewertet somit nicht nur das vorhergesagte Ergebnis, sondern auch, ob die Unsicherheitsmodellierung zur tatsächlichen Situation passt.
  • Angenommen, zwei Modelle prognostizieren beide eine Durchschnittstemperatur von 20 Grad. Das erste Modell erzeugt Samples hauptsächlich zwischen 19 und 21 Grad, während das zweite Werte zwischen 5 und 35 Grad verteilt. Obwohl beide denselben Mittelwert besitzen, bewertet der Energy Score die zweite Vorhersage schlechter, da ihre Streuung unnötig groß ist.

• Distanz zum tatsächlichen Wert

  • Ein Bestandteil des Energy Scores misst die durchschnittliche Entfernung zwischen den vorhergesagten Samples und der tatsächlichen Beobachtung.
  • Je näher die Samples am realen Wert liegen, desto kleiner fällt dieser Distanzanteil aus.
  • Dieser Term zeigt, wie gut die Vorhersageverteilung den tatsächlichen Wert abdeckt.
  • Wenn die tatsächliche Temperatur 21 Grad beträgt und die meisten Samples bei 20, 21 oder 22 Grad liegen, ist die durchschnittliche Distanz gering. Befinden sich viele Samples dagegen bei 10 oder 30 Grad, steigt der Wert deutlich an. Dieser Bestandteil bewertet somit die Genauigkeit der Vorhersageverteilung.

• Korrektur durch Sample-Abstände

  • Ein weiterer Bestandteil berücksichtigt die gegenseitigen Abstände zwischen den vorhergesagten Samples.
  • Ohne diese Korrektur könnte ein Modell seine Verteilung sehr breit machen und dadurch die Wahrscheinlichkeit erhöhen, zufällig einige Samples nahe am tatsächlichen Wert zu erzeugen.
  • Eine reine Betrachtung der Distanz zur Realität würde solche übermäßig verteilten Vorhersagen zu positiv bewerten.
  • Der Energy Score gleicht diesen Effekt aus, indem er zusätzlich die interne Streuung der Vorhersageverteilung einbezieht.
  • Beispielsweise beschreibt [18, 20, 22] bei einem tatsächlichen Wert von 21 Grad eine konzentrierte Vorhersage nahe an der Realität. [5, 21, 40] enthält zwar einen passenden Einzelwert, besitzt jedoch eine deutlich übertriebene Streuung. Die Sample-Abstände sorgen dafür, dass dieser Unterschied in die Bewertung einfließt.
  • Der Energy Score sucht damit einen Ausgleich zwischen einer realitätsnahen Vorhersage und einer angemessenen sharpness sowie calibration, also einer präzisen und gleichzeitig zuverlässigen Unsicherheitsdarstellung.

• \[ ES(F, y) = \mathbb{E}\|X – y\| – \frac{1}{2}\mathbb{E}\|X – X’\| \]

  \[ X, X‘ \sim F \]

  Der erste Term \(\mathbb{E}\|X – y\|\) beschreibt die mittlere Distanz zwischen einem aus der Vorhersageverteilung F gezogenen Sample X und dem tatsächlichen Wert y. Er misst, wie nahe die Vorhersage an der Beobachtung liegt. Der zweite Term \(\frac{1}{2}\mathbb{E}\|X – X’\|\) beschreibt die durchschnittliche Distanz zwischen zwei unabhängig gezogenen Samples X und X‘ aus derselben Verteilung und erfasst damit deren interne Streuung. Beide Terme zusammen verhindern, dass eine künstlich breit verteilte Vorhersage einen Vorteil erhält, nur weil sie den tatsächlichen Wert zufällig einschließt.

• Eigenschaft als Proper Scoring Rule

  • Der Energy Score gehört zur Klasse der proper scoring rules.
  • Das bedeutet, dass eine Vorhersageverteilung, die der tatsächlichen Datenverteilung entspricht, im Erwartungswert die optimale Bewertung erreicht.
  • Dadurch werden Modelle dazu gebracht, Unsicherheit realistisch abzubilden, anstatt die Verteilung gezielt für einen besseren Score zu verzerren.
  • Eine zu enge Verteilung unterschätzt die tatsächliche Unsicherheit, während eine extrem breite Verteilung kaum informative Vorhersagen liefert. Der Energy Score fördert deshalb Verteilungen, die möglichst nah an der realen Unsicherheit liegen.

• Anwendung auf multivariate Vorhersagen

  • Eine wesentliche Stärke des Energy Scores ist seine direkte Anwendung auf multivariate Vorhersagen.
  • Werden beispielsweise Temperatur, Luftfeuchtigkeit und Windgeschwindigkeit gleichzeitig prognostiziert, kann dieselbe distanzbasierte Bewertung verwendet werden.
  • Jedes Vorhersagesample besteht dabei nicht aus einem einzelnen Wert, sondern aus einem Vektor mehrerer Variablen.
  • Der Energy Score vergleicht sowohl die Distanz zwischen dem vorhergesagten Vektor und dem tatsächlichen Beobachtungsvektor als auch die Abstände zwischen den einzelnen Vorhersagevektoren.
  • Für eindimensionale Vorhersagen besteht eine enge Verbindung zum CRPS (Continuous Ranked Probability Score). Bei mehreren Dimensionen wird der Energy Score häufig als dessen Erweiterung für komplexere Verteilungen verwendet.
  • Damit eignet sich der Energy Score besonders für probabilistische Modelle mit mehreren Ausgabewerten, deren Unsicherheiten gemeinsam betrachtet werden müssen.

Bedeutung und Grenzen

Der Energy Score erweitert die Bewertung probabilistischer Modelle um Informationen, die klassische Punktvorhersage-Metriken nicht erfassen können. Neben der Nähe zum tatsächlichen Wert zeigt er auch, ob die Streuung einer Vorhersageverteilung realistisch gewählt ist. Dadurch ist er besonders für generative Modelle, Zeitreihenprognosen und Anwendungen mit Unsicherheitsschätzung relevant. Ein Modell wird damit nicht nur danach bewertet, ob es einen guten Mittelwert liefert, sondern auch danach, ob es die tatsächliche Unsicherheitsbreite angemessen modelliert. Als proper scoring rule besitzt der Energy Score zudem die theoretische Eigenschaft, Modelle zur Abbildung der realen Datenverteilung zu motivieren. Allerdings steigt der Berechnungsaufwand, da Erwartungswerte über Samples geschätzt werden müssen. Bei sehr vielen Samples oder hohen Dimensionen kann dies zu zusätzlichen Kosten führen. Außerdem lassen sich feine Unterschiede komplexer Verteilungsstrukturen nicht immer vollständig erfassen. In der Praxis wird der Energy Score daher meist zusammen mit weiteren Metriken wie CRPS, Log Score, Calibration-Messungen und aufgabenspezifischen Fehlermaßen interpretiert.

Empfohlene Grundlagen (3/5)

+2

• Performance Measure (Leistungsmaß) — eine numerische Kennzahl zur Bewertung der Modellleistung
• Gini Impurity — warum teilt ein Decision Tree Daten nach diesem Kriterium? Berechnung und Intuition
• Micro vs Macro Averaging — Warum sich die Bewertung bei unausgeglichenen Daten verändert

• Subset Accuracy — Warum bei Multi-Label-Evaluation nur vollständige Übereinstimmung zählt
• Hamming Loss — Wie partielle Fehler bei Multi-Label Classification gemessen werden

Empfohlene nächste Artikel (5/15)

+5

• Top-5 Error — Eine Kennzahl zur Bewertung von Modellen anhand des Anteils der Fälle, in denen die richtige Klasse nicht unter den fünf wahrscheinlichsten Vorhersagen liegt
• Argmax vs. Softmax (Entscheidung vs. Wahrscheinlichkeit) — Der Moment, in dem die Ausgabe eines Klassifikationsmodells zur Entscheidung wird oder als Wahrscheinlichkeit erhalten bleibt
• Confidence Thresholding (vertrauensbasierte Auswahl) — eine stabile Entscheidungsregel zum Filtern unsicherer Vorhersagen
• Binary Cross-Entropy (Binary CE, BCE) — Verlustfunktion zur Messung der Differenz zwischen Vorhersagewahrscheinlichkeit und tatsächlichem Label in der binären Klassifikation
• Completeness Score im Clustering einfach erklärt — Homogeneity und V-Measure

• Calibration — Wie zuverlässig sind die Wahrscheinlichkeiten eines Modells?
• Feature Importance — Wie sich die Entscheidungsgrundlagen eines Modells analysieren lassen
• Out-of-Bag Error — Leistungsschätzung mit nicht verwendeten Bootstrap-Samples
• Negative Log-Likelihood (NLL) – Die Verlustfunktion, die misst, wie sicher ein Modell bei einer falschen Vorhersage war
• Error Rate: Fehlerquote von Klassifikationsmodellen im Machine Learning verstehen

• Temperature Scaling — Warum Softmax-Wahrscheinlichkeiten oft zu selbstsicher sind
• Weighted Loss — Wie Modelle wichtige Fehler stärker lernen
• Confusion Matrix einfach erklärt — TP·TN·FP und FN in Machine Learning verstehen
• Pixel Loss — Verringerung des Pixelunterschieds zwischen vorhergesagtem und Referenzbild
• Recall im Machine Learning — Formel, True Positive Rate und Unterschied zu Precision

Beiträge zum gleichen Thema (0/0)

In diesem Abschnitt gibt es noch keine weiteren Beiträge.

Verwandte Konzepte (0/0)

Es gibt noch keine Beiträge zu verwandten Konzepten.

📍 Position dieses Konzepts auf der KI-Lernkarte

Sieh dir an, wo dieses Konzept im gesamten AI Universe eingeordnet ist.

📍 Aktuelle Position im AI Universe

☰

Zurücksetzen Abgeschlossene anzeigen · Anmeldung erforderlich Wird geladen…

🌌 AI Universe

‹

›

⭐ Konzept

Wähle einen Stern aus.

Gesamtes AI Universe ansehen

« Supervised Loss — Warum…|KL-Divergenz (Kullback-L… »

🔖 Tags: energy score · Machine Learning · predictive modeling · probabilistische Vorhersage · Unsicherheitsschätzung · Wahrscheinlichkeitsverteilung