Předmět: Information Theory

» Seznam fakult » FPR » UAI
Název předmětu Information Theory
Kód předmětu UAI/500
Organizační forma výuky Přednáška + Cvičení
Úroveň předmětu Magisterský
Rok studia nespecifikován
Četnost výuky V každém akademickém roce, jen v zimním semestru.
Semestr Zimní
Počet ECTS kreditů 4
Vyučovací jazyk angličtina
Statut předmětu Povinný
Způsob výuky Kontaktní
Studijní praxe Nejedná se o pracovní stáž
Doporučené volitelné součásti programu Není
Dostupnost předmětu Předmět je nabízen přijíždějícím studentům
Vyučující
  • Bukovský Ivo, doc. Ing. Ph.D.
  • Beránek Ladislav, prof. Ing. CSc., MBA
Obsah předmětu
1. Pravděpodobnost, entropie 2. Komprese dat, věta o kódování zdroje 3. Kódy, streamovací kódy 4. Kódování kanálů se šumem, komunikace přes tento kanál 5. - 6. Samoopravné kódy, reálné kanály 7. Kódování - hash kódy, binární kódy 8. Lineární kódy, předávání zpráv 9. - 10. Komunikace přes kanály bez šumu s omezením 11. Prvky pravděpodobnosti - marginalizace (na grafech) 12. - 13. Grafové kódy - kódy pro kontrolu parity, konvoluční kódy Obsah cvičení odpovídá tématům přednášek.

Studijní aktivity a metody výuky
Monologická (výklad, přednáška, instruktáž), Práce s textem (učebnicí, knihou), Individuální příprava ke zkoušce, Práce s multimediálními zdroji (texty, internet, IT technologie), Individuální konzultace s vyučujícím, Blended learning
  • Příprava na zkoušku - 26 hodin za semestr
Výstupy z učení
Tento kurz se zabývá teorií informací a jejími aplikacemi. Cílem předmětu je, aby studenti získali znalosti o pojmech jako entropie a informace, bezztrátová komprese dat, komunikace za přítomnosti šumu, kapacita kanálu a kódování kanálu a kódování v grafech. Součástí kurzu jsou prezentace praktických aplikací těchto konceptů.
Studiem předmětu a úspěšným složením zkoušky, studenti prokáží způsobilost orientovat se v otázkách teorie informace a souvisejících metodách, chápat jejich principy v souvislosti s teorií pravděpodobnosti, strojovým učením s aplikacemi pro vyhodnocování dat, datových toků, kódování a datové komprese, a tyto metody matematicky definovat a aplikovat na případové studie a implementovat (Python) ať už vlastním kódem nebo s využitím existujících knihoven (avšak při pochopení matematické podstaty metod v používaných knihovnách).
Předpoklady
Znalost pravděpodobnosti a statistiky

Hodnoticí metody a kritéria
Ústní zkouška, Analýza výkonů studenta, Test, Seminární práce, Průběžné hodnocení

Minimálně 50 bodů v bodovacím systému skládajícím se z: a) max 20 bodů z dobrovolných domácích úloh zadávaných během semestru a vyřešených ve stanoveném termínu. b) max 90 bodů ze zkoušky Alternativně lze doplnit a) semestrální prácí jejíž téma odsouhlasí vyučující. Během semestru tedy studenti mohou získat maximálně 20 bodů. Hodnocení: F < 50 b, 50<E<60, 60<D<70,70<C<80,80<B<90, 90<A Pokud nebude student z vážných důvodů moci domácí úlohy během semestru řešit, je zde stále možnost kombinace semestrálního projektu + zkoušky, a hodnocení A pořád student může dosáhnout.
Doporučená literatura
  • COVER, T. M. and Joy A. THOMAS. Elements of information theory. 2nd ed. Hoboken: Wiley-Interscience, c2006. ISBN 978-0-471-24195-9..
  • EL-GAMAL, A. and YOUNG-HAN, K. Network information theory. Primera. Cambridge: Cambridge University Press, 2011. ISBN 978-1-107-00873-1..
  • HOST, S. Information and Communication Theory. Hoboken, NJ: Wiley-IEEE Press, 2019. ISBN 978-1119433781..
  • MACKAY, David J. C. Information theory, inference, and learning algorithms. Cambridge: Cambridge University Press, 2003. ISBN 978-0-521-64298-9..


Studijní plány, ve kterých se předmět nachází
Fakulta Studijní plán (Verze) Kategorie studijního oboru/specializace Doporučený ročník Doporučený semestr