Informationstheorie

Ihr Benutzername: Besucher
Wer ist gerade online? - 20 aktive User.

Erstellt/bearbeitet: 05-Nov-2005/14-Jan-07
Systemzeit: Sonntag, 07.09.2008, 07:18:26.

Home : Wissen : Theorie : Information : Theorie

Ãœbersicht

Als Informationstheorie (engl. information theory) bezeichnet man grundlegende Aussagen über das Wesen von Information. Die bekannteste derartige Grundlegung ist die mathematische Informationstheorie.

Mathematische Informationstheorie

Die mathematische Informationstheorie geht auf Arbeiten von Claude Shannon (1916–2001) aus dem Jahr 1948 zurück, die sich mit den statistischen Gesetzmäßigkeiten der Ãœbermittlung, Verarbeitung, Messung und Repräsentation von Informationen (= Nachrichten) sowie der Kapazität von Kommunikationssystemen befaßt. Shannon formulierte als Grundannahme:

»The fundamental problem of communication is that of reproducing at one point, either exactly or approximately, a message selected at another point«.

Ziel der mathematischen Informationstheorie ist es, die Kommunikation unter Menschen strukturell und quantitativ zu erfassen; ihr liegt dabei ein lineares Modell von Kommunikation – das sog. Sender-Empfänger-Modell – zu Grunde, das auch in der Nachrichtentechnik eingesetzt wird. Die Informationstheorie geht dabei jedoch über das syntaktische Sender-Empfänger-Modell hinaus: Die Bedeutung und der Informationsgehalt sind immer von dem semantischen Kontext einer Ãœbertragung abhängig.

Shannon geht davon aus, dass in allen Informationssystemen (z.B. Fernschreiber, Telefon, Fernsehen) Nachrichten (z.B. Worte, Meßdaten) von einer Informationsquelle produziert und mit Hilfe eines Ãœbermittlungskanals an einen Bestimmungsort übermittelt (= gesendet) werden; dabei werden die Signale (= Codes; z.B. Buchstabenfolgen, Morse- oder Binärcode) übersetzt (= codiert).

Abbildung: Modell eines Kommunikationssystems nach Shannon mit der Nachrichtenquelle und -ziel, Sender und Empfänger, Signal und Störquelle (Quelle: Michael Hofferer, Einführung in die Informationstheorie, 7. Januar 1999, online unter [1]; entsprechend bei Shannon 1948 in [2] und in Kloock/Spahr 2000: 218 etc.).

Shannon definierte dazu ein Maß für den Informationsgehalt einer Nachricht; der Informationsgehalt einer Nachricht gibt an, wieviel Information in dieser Nachricht übertragen wurde:

Dem setzt er den durchschnittlichen Informationsgehalt pro Nachricht (= Entropie) entgegen; Entropie ist ein Maß für die Menge an Zufallsinformation, die in einem System oder einer Informationsfolge steckt:

Dabei ist p(m_i) die Wahrscheinlichkeit der Nachricht m_i; mit ihr kann die Kapazität des Übertragungskanals bestimmt werden, die erforderlich ist, um die Nachricht von ihrer Quelle zu übertragen. Die Kanalkapazität ist Teil der informationstheoretischen Beschreibung des Kanals. Sie gibt an, wie hoch die maximale Bitrate ist, die über einen Kanal fehlerfrei übertragen werden kann:

Das quantitative Maß der Informationsmenge (= Entropie H) ist durch diese Formel eindeutig definiert.

Die Shannon'sche Formel des Maßes der Information »konvergiert mit Ausnahme des negativen Vorzeichens mit jener Formel, die Ludwig Boltzmann als Maß der Entropie eines dissipativen Systems im Sinne der Thermodynamik anschrieb« (Kloock/Spahr 2000: 218):

H ist also in der statistischen Thermodynamik die Entropie oder in der mathematischen Informationstheorie der Informationsgehalt, der in Bit angegeben wird. p_i ist die Wahrscheinlichkeit (probability) des Auftretens eines informationellen Ereignisses i, also wann das i-te Zeichen erscheint.

Netmarks

Maria Oelinger: Informationstheorie und Codierung. Skript und Prüfungsprotokolle - Entropie, Rauschfreie Codierung, Verrauschtes Codieren, Grundlagen der Codierungstheorie u.a.,
www.oelinger.de/maria/it_codi.

Literatur

Michael Kary, Martin Mahner: »Warum Shannons 'Informationstheorie' keine Informationstheorie ist«, in: Naturwissenschaftliche Rundschau 57(11), S. 609 - 616 (2004), ISSN 0028-1050.

Daniela Kloock, Angela Spahr: Medientheorien. Eine Einführung (2., korr. u. erw. Aufl.; UTB für Wissenschaft: Uni-Taschenbücher; 1986). München: Fink 2000. ISBN 3-8252-1986-0 (UTB), ISBN 3-7705-3223-6

Holger Lyre: Informationstheorie. München: Fink 2002. ISBN 3-7705-3446-8 - Einführung in die Informationstheorie mit Ausblick auf die aktuellen Forschungen Lyres zur Quantentheorie der Information.

Tor Nørretranders: Spüre die Welt. Rowohlt 1994; ISBN 3-4980-4637-3 - Einführung in die Welt der Information, der Entropie und des Bewußtseins.

J. R. Pierce: An Introduction to Information Theory: Symbols, Signals and Noise (2nd ed.). Dover Publications, Inc., New York 1980.

Claude E. Shannon: »A mathematical theory of communication«, in: Bell System Technical Journal, Vol. 27, July and October (1948): 379-423, 623-656 - Im Volltext online unter cm.bell-labs.com/cm/ms/what/shannonday/paper.html in den Dateiformaten PostScript, PDF und LaTeX.

D. Slepian (Hrsg.): Key Papers in the Development of Information Theory. New York: IEEE Press, 1974.

W. Weaver, C. E. Shannon: The Mathematical Theory of Communication. Urbana, Illinois: University of Illinois Press, 1949 (Neuauflage 1963).

Quellennachweise

Bildquellennachweise: • Promotionmaterial © Amazon.de• • Claude Elwood Shannon; Quelle: turnbull.dcs.st-and.ac.uk via de.wikipedia.org; Lizenz: Public Domain. • Modell eines Kommunikationssystems nach Shannon; Quelle: Michael Hofferer, Einführung in die Informationstheorie, 7. Januar 1999, online unter [1].

Anmerkungen

Forum: Wissen Allgemein (Anmerkungen in diesem Forum: 0)

Neue Anmerkung verfassen

Darstellungsmodus : Alle | Voransicht | Nur Titel | Aktualisieren

Besuchen Sie 2eNetWorX und Open Source & Free Software für weitere freie Software-Projekte unter Win32.

[ Zurück ] [ Weiter ]