Datenkompression


Kriterien

Übersicht Formate

Grundlagen

Grundbegriffe

Zeichen

Zeichenvorrat

Alphabet

Kode

Kodierung

Redundanz

Informationstheorie

Nachricht

Wahrscheinlichkeit

Informationsgehalt

Funktionsverlauf

Entropie

Redundanzreduktion

Irrelevanzreduktion

Entropiekodierung

Kodes mit variabler Länge

Kodebäume

Kompressionsverfahren

Datenformate


Glossar

Stichwortverzeichnis


Download


www.BinaryEssence.de

Informationsgehalt einer Nachricht


Der Informationsgehalt einer Nachricht, ist in der Informationstheorie eine Größe, die ausschließlich von Wahrscheinlichkeit, mit der diese Nachricht auftritt, abhängt.


Definition: Informationsgehalt einer Nachricht n


   I(n) = - log2 P(n)

Enstprechend der oben genannten Definition hat der Informationsgehalt einer Nachricht folgende Eingeschaften:

  • Mit steigender Wahrscheinlichkeit für das Auftreten einer Nachricht sinkt deren Informationsgehalt.
  • Da die Wahrscheinlichkeit einen Wertebereich von 0 bis 1 aufweist, ergibt sich immer ein positiver Wert für den Informationsgehalt einer Nachricht.
  • Für Nachrichten mit gegen Null gehender Wahrscheinlichkeit steigt der Informationsgehalt stark an und geht für P(n) -> 0 gegen unendlich.
  • Nachrichten mit geringfügig differierender Wahrscheinlichkeit weisen auch nur einen geringen Unterschied in ihrem Informationsgehalt auf.
  • Bei voneinander unabhängigen Nachrichten addiert sich der Informationsgehalt.
  • Sofern als Logarithmen-Basis die 2 gewählt wird, ergibt sich aus dem Informationsgehalt die günstigste Kodelänge für die Darstellung des Zeichens in Bit.
  • Wenn die Wahrscheinlichkeit für das Auftreten eines Zeichens den Wert 0,5 annimmt, ist der Informationsgehalt gleich 1. Ein idealer Kode würde für dieses Zeichen eine Kodelänge von einem Bit verwenden.

 <   ^   > 

Übersicht Grundbegriffe Wahrscheinlichkeit Funktionsverlauf: Informationsgehalt einer Nachricht



Anzeigen:

Informations- und Kodierungstheorie