Angewandte Informationstheorie

Die Aussagen der Informationstheorie stellen einen zentralen Ansatzpunkt für eine Vielzahl von Themengebieten dar. Neben der Anwendung in der Quellen- und Kanalcodierung sowie der Verschlüsselung, erlauben Elemente der Informationstheorie Einsichten in viele weitere Bereiche wie z.B. der Komplexitätsanalyse, der Netzwerkinformationstheorie, der Physical Layer Security, der Statistik und nicht zuletzt des Machine Learning.

Zu Beginn der Vorlesung werden die Begriffe der Informationstheorie erarbeitet, es werden deren Eigenschaften analysiert sowie weiterführende Aussagen hergeleitet. Hierdurch wird eine solide Grundlage erworben, welche die Verwendung informationstheoretischer Methoden und Ansätze in vielen interessanten Fragestellungen der folgenden Kapitel erlaubt.

Im Bereich der Codierung diskreter Quellen wird die Entropie der Quelle als die kleinste Anzahl an Bits erkannt, die zur Darstellung eines Quellsymbols mit beliebig kleiner Fehlerwahrscheinlichkeit erforderlich ist. Hierzu erfolgt eine Diskussion sowohl von Codierung fester Länge als auch von Codierung variabler Länge, in deren Verlauf unter anderem typische Sequenzen und die Präfixfreiheit von Codes angesprochen werden.

Der Begriff der Kanalkapazität diskreter Kanäle spielt in der Informationstheorie eine zentrale Rolle. Daher darf der Nachweis des Kanalcodierungstheorems in keiner Vorlesung zum Thema Informationstheorie fehlen und wird auch in dieser Vorlesung diskutiert. Es wird besprochen, wie eine kapazitätserreichende Eingangsverteilung über Methoden der Optimierungstheorie bestimmt oder mittels des Algorithmus von Blahut-Arimoto iterativ approximiert werden kann.

Anschließend erfolgt eine Diskussion der Begriffe der Informationstheorie für stetige Verteilungen. Hierbei werden die entsprechenden Definitionen erarbeitet und es wird diskutiert, inwieweit sich Eigenschaften und Begrifflichkeiten aus dem Diskreten übertragen lassen oder inwieweit angepasste Interpretationen bzw. Aussagen verwendet werden müssen. Hierzu gehören unter anderem auch die Diskussion der Kanalkapazität in AWGN-Kanälen sowie für parallele Kanäle und Fadingkanäle.

Abschließend wird die Anwendung der Informationstheorie in der Netzwerkinformationstheorie und der Statistik erörtert. Hierbei werden Resultate diskutiert, welche mittels informationstheoretischer Methoden Aussagen unter anderem für den Multiple Access Channel und den Broadcast Channel ermöglichen und damit einen kleinen Einblick in die Themengebiete Kooperation und Koordination bieten. Zu guter Letzt erweitert die „Method of Types“ die im Rahmen des Quellencodierungstheorems erarbeiteten typischen Sequenzen und liefert tiefere Einblicke etwa in Hypothesentests und das Universal Source Coding Theorem.