Datenkompression


Kriterien

Übersicht Formate

Grundlagen

Grundbegriffe

Zeichen

Zeichenvorrat

Alphabet

Kode

Kodierung

Redundanz

Informationstheorie

Nachricht

Wahrscheinlichkeit

Informationsgehalt

Entropie

Redundanzreduktion

Irrelevanzreduktion

Entropiekodierung

Kodes mit variabler Länge

Kodebäume

Kompressionsverfahren

Datenformate


Glossar

Stichwortverzeichnis


Download


www.BinaryEssence.de

Informationstheorie


Die Informationstheorie beschreibt mathematische Grundlagen für die Bereiche Kommunikation bzw. Informationsaustausch. Zentraler Gegenstand sind die Begriffe Informationsgehalt und Entropie. Mit Hilfe der Informationstheorie können Aussagen über den erforderlichen Aufwand für die Übermittlung von Informationen getroffen werden.


Die Informationstheorie hat weitreichende Bedeutung z.B. für die Kommunikationstechnik, Datenkompression und Kryptographie, sowie in anderen Gebieten außerhalb des technisch-wissenschaftlichen Bereichs (Genetik, Neurologie, Informationswissenschaft, etc.).


Im Rahmen der Informationstheorie wird Information als meßbare, rein mathematische Größe betrachtet, ohne auf deren Bedeutung einzugehen. Auswertung und Interpretation von Informationen (Semantik, Pragmatik) sind nicht Bestandteil der Theorie. Für ein Systemdesign auf rein technischer Ebene ist die Bedeutung einer Information nicht relevant.


Im allgemeinen wird Claude Elwood Shannon als Begründer der Informationstheorie betrachtet. Den Ausschlag gab seine Publikation "A Mathematical Theory of Communication", die 1948 im Bell System Technical Journal erschienen ist.


Shannon selber beruft sich auf Vorarbeiten von Nyquist, Hartley und Tukey.

H. Nyquist:

(Certain Factors Affecting Telegraph Speed; Bell System Technical Journal; April 1924)

(Certain Topics in Telegraph Transmission Theory; A.I.E.E. Trans.; April 1928)

R. V. L. Hartley:

(Transmission of Information; July 1928)


Im weiteren Verlauf ist die Informationstheorie kontinuierlich erweitert worden (Kullback, Leibler, etc.).


 <   ^   > 

Übersicht Grundbegriffe Redundanz Nachricht



Anzeigen:

Informations- und Kodierungstheorie