|
Vyučující
|
-
Bukovský Ivo, doc. Ing. Ph.D.
|
|
Obsah předmětu
|
1. Typy úloh, aplikací, principy adaptace, problematika množství a kvality trénovacích dat, nestacionarita procesů, přetrénování, generalizace. 2. Koncept časově spojitých a diskrétních matematicko-fyzikálních modelů dynamických systémů, datově založené modelování. 3. Základní model neuronu (perceptron), statický vs. dynamický neuron, krokový algoritmus gradientového učení statického neuronu. 4. Konvergence krokového učení statického neuronu (normalizace dat a metody optimalizace rychlosti učení, RLS) 5. Formulace dynamiky krokového gradientového učení statického neuronu a vliv parametrů učení na jeho stabilitu (konvergence vah) 6. Dynamický neuron: krokový algoritmus učení, konvergence vah, dynamická stabilita neuronu, analogie adaptivních filtrů 7. Nelineární neuronové architektury lineární v parametrech (IPLNA), analogie s Taylorovým rozvojem 8. Dávkové učení statického a dynamického neuronu, algoritmus Levenberg-Marquardt (LM), koeficient rychlosti učení a jeho vliv 9. Dávkové učení algoritmem konjugovaných gradientů, porovnání. 10. Architektury mělkých neuronových sítí: IPLNA, ELM , FRVL, vlastnosti, jejich krokové a dávkové učení, konvergence vah 11. Mělké vs. hluboké neuronové sítě, adaptivní algoritmus ADAM. 12. Adaptivní detekce anomálií, informační obsah podle Shannona, Entropie učení 13. Vysvětlitelnost a důvěryhodnost neuronových architektur (IPLNA, mělké sítě, hluboké sítě) v průmyslových aplikacích Obsah cvičení/semináře: Implementace a testování aplikovaných adaptivních algoritmů a neuronových architektur na časových řadách a na modelu dynamického systému, ukázky aplikací (klasifikace, aproximace, predikce, detekce, adaptivní regulace) podle témat přednášek.
|
|
Studijní aktivity a metody výuky
|
- Příprava na zápočet
- 25 hodin za semestr
- Příprava na zkoušku
- 25 hodin za semestr
- Domácí příprava na výuku
- 25 hodin za semestr
|
|
Výstupy z učení
|
V předmětu se studenti seznámí s teoretickými základy algoritmů supervizorovaného učení a osvojí si praktické dovednosti s jejich implementacemi na jednodušších architekturách učících systémů (mělké neuronové sítě) a seznámí se s úlohami adaptivní klasifikace, filtrace, predikce, adaptivního monitorování anomálií v chování např. biologického dynamického sytému a adaptivního regulátoru. Předmět tak studenty seznámí s matematickými principy a jejich aplikacemi, kde nejsou hluboké neuronové sítě vhodné, např., kvůli nedostatku dat, nutnosti implementace na specifickém HW, a vzhledem k potřebě vysvětlitelnosti a důvěryhodnosti neuronových sítí v průmyslových aplikacích.
|
|
Předpoklady
|
Matematika základního stud., základy programování (min. Python nebo Matlab)
|
|
Hodnoticí metody a kritéria
|
nespecifikováno
Semestrální práce zahrnující vlastní návrh, implementaci, a analýzu funkčnosti adaptivních neuronových architektur pro zadané úlohy s dokumentací.
|
|
Doporučená literatura
|
-
G. C. Layek, An Introduction to Dynamical Systems and Chaos, 1st ed. 2015. New Delhi: Springer India?: Imprint: Springer, 2015. doi: 10.1007/978-81-322-2556-0., https://link.springer.com/book/10.1007/978-81-322-2556-0.
-
I. Bukovsky and N. Homma, "An Approach to Stable Gradient-Descent Adaptation of Higher Order Neural Units," IEEE Transactions on Neural Networks and Learning Systems, vol. 28, no. 9, pp. 2022-2034, Sep. 2017, doi: 10.1109/TNNLS.2016.2572310. (autorská verze na ArXive).
-
M. Kubat, An Introduction to Machine Learning. Cham: Springer Internatio-nal Publishing, 2017. doi: 10.1007/978-3-319-63913-0. https://link.springer.com/book/10.1007/978-3-319-20010-1.
-
Theoretical Biology and Medical Modelling (TBioMed), BioMed Central , (http://www.tbiomed.com/, Open Access).
|