Datenkompression


Kriterien

Übersicht Formate

Grundlagen

Grundbegriffe

Zeichen

Zeichenvorrat

Alphabet

Kode

Kodierung

Redundanz

Informationstheorie

Nachricht

Wahrscheinlichkeit

Informationsgehalt

Entropie

Berechnung

Eigenschaften

Extremwerte

Funktionsverlauf

Redundanzreduktion

Irrelevanzreduktion

Entropiekodierung

Kodes mit variabler Länge

Kodebäume

Kompressionsverfahren

Datenformate


Glossar

Stichwortverzeichnis


Download


www.BinaryEssence.de

Entropie


Die Entropie ist ein in der Informationstheorie definiertes Maß, dass den Informationsgehalt einer Nachrichtenquelle (z.B. dem Inhalt einer Datei) bewertet. Eine Quelle hat eine hohe Entropie, wenn deren Inhalte (Nachrichten) eine eher zufällige Verteilung aufweisen. Die Entropie sinkt, wenn regelmäßige Strukturen auftauchen, z.B. wenn bestimmte Nachrichten häufiger auftreten als andere.


Mit Hilfe des Entropiebegriffs läßt sich bestimmen, wie gut sich eine Quelle für die Datenkompression eignet. Bei bekannter Wahrscheinlichkeitsverteilung gibt die Entropie einer Nachrichtenquelle an, mit welcher durchschnittlichen Kodelänge (in Bit) diese kodiert werden kann.


In der Informationstheorie stellt die Entropie einen der zentralen Begriffe dar. Sie ist etwa 1948 von Claude Shannon, dem Begründer der Informationstheorie, eingeführt worden.


 <   ^   > 

Übersicht Grundbegriffe Informationsgehalt Berechnung der Entropie



Anzeigen:

Informations- und Kodierungstheorie