SPOLEČNÁ TÉMATA T1 ? Úvod do datově řízeného modelování fyzikálních systémů Datově, modelově a hybridně řízené přístupy; role strojového učení; vysvětlitelnost, konvergence a stabilita neuronových architektur; black-box a interpretovatelné modely; architektury lineární v parametrech. T2 ? LNU, HONU a neuronové modely lineární v parametrech LNU a HONU; polynomiální transformace vstupů; inkrementální učení a backpropagation; interpretace vah; aproximace dynamických systémů a stavový prostor. T3 ? Modely stavového prostoru a jejich neuronové reprezentace Diskrétní modely stavového prostoru; modelování systémů se známými stavy; odvození z HONU; latentní stavy; přechod k architekturám s Attention. T4 ? Architektury MLP, GRU a LSTM MLP, GRU a LSTM; Backpropagation Through Time; modelování dlouhodobých závislostí; interpretovatelnost; porovnání s mělkými architekturami. T5 ? Optimalizační algoritmy pro učení neuronových sítí Gradientní metody, metoda sdružených gradientů a Levenbergova?Marquardtova metoda; konvergence; minimalizace ztrátové funkce; regularizace a ladění hyperparametrů. T6 ? Redukce dimenzionality a projekce do latentního prostoru PCA, t-SNE a UMAP; vizualizace a komprese vícerozměrných dat; příprava příznaků pro modelování a shlukování. T7 ? Shlukování a samoorganizující reprezentace K-means, DBSCAN a SOM; rozpoznávání stavů systému; topologická reprezentace dat; příklady z fyzikálních signálů. T8 ? Validace modelů, interpretovatelnost a zobecnitelnost Validace modelů; analýza citlivosti a kolinearity; Learning Entropy a AISLE; robustnost, detekce nových stavů a interpretovatelnost; semestrální projekt. PROFILOVÁ TÉMATA (budou vybrána alespoň čtyři podle odborného zaměření studentů) F1 ? Fraktální příznaky pro predikci složitých dynamických systémů Fraktální dimenze, rekurentní analýza a entropické příznaky; modelování turbulence, chaosu a fyziologických signálů. F2 ? Learning Entropy a využití sledování dynamiky vah Learning Entropy a AISLE; sledování změn vah; detekce změn chování systému a nových stavů. F3 ? Odvození modelů stavového prostoru z HONU Odvození stavových modelů z HONU; systémy se známými stavy; interpretace, konvergence a stabilita. F4 ? Mechanismy pozornosti u systémů s neznámými stavy Attention, self-attention a multi-head attention; modelování latentních stavů; detekce anomálií a segmentace chování. F5 ? Analýza latentního prostoru neuronových sítí Latentní reprezentace dat; geometrie a interpretace latentního prostoru; shlukování, vizualizace a identifikace systémů. F6 ? Fyzikálně informované neuronové sítě (PINNs) PINNs; ztrátové funkce respektující PDE; automatická diferenciace; kolokační body; DeepONets a Fourier Neural Operators. F7 ? Autoenkodéry a variační autoenkodéry pro extrakci latentních příznaků Autoenkodéry a VAE; komprese, odstranění šumu a extrakce latentních příznaků; identifikace systémů. F8 ? Prediktivní řízení s neuronovými modely Modelově prediktivní řízení; HONU prediktory; optimalizace, zpětná vazba a analýza stability. F9 ? Moderní neuronové architektury stavového prostoru: Mamba a další Architektura Mamba a stavové modely sekvencí; lineární časová složitost; porovnání s RNN a transformery; modelování fyzikálních procesů. F10 ? Spiking Neural Networks a událostmi řízené předzpracování dat Spiking Neural Networks; časové kódování impulsů; STDP a surrogate gradients; událostmi řízené zpracování dat; neuromorfní hardware.
|
-
G. E. Karniadakis, I. G. Kevrekidis, L. Lu, P. Perdikaris, S. Wang, and L. Yang, ?Physics-informed machine learning,? Nat Rev Phys, vol. 3, no. 6, pp. 422?440, May 2021, doi: 10.1038/s42254-021-00314-5..
-
I. Bukovsky, G. Dohnal, et al, ?Letter on Convergence of In-Parameter-Linear Nonlinear Neural Architectures with Gradient Learnings,? IEEE Trans. Neural Networks and Learning Systems, vol. 34, no. 8, pp. 5189?5192, Aug. 2023, doi: 10.1109/TNNLS.2021.3123533..
-
I. Bukovsky, Interaktivní výukové podklady v Jupyter Notebook, Dpt. of Computer Science, Faculty of Science, Univ. of South Bohemia in Ceske Budejovice (TEAMs, MOODLE).
-
M. Raissi, P. Perdikaris, and G. E. Karniadakis, ?Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations,? Journal of Computational Physics, vol. 378, pp. 686?707, Feb. 2019, doi: 10.1016/j.jcp.2018.10.045..
-
Physics-Informed Machine Learning,? in Fundamentals of Pattern Recognition and Machine Learning, Cham: Springer International Publishing, 2024, pp. 293?324. doi: 10.1007/978-3-031-60950-3_12..
-
S. L. Brunton and J. N. Kutz, Data-Driven Science and Engineering: Machine Learning, Dynamical Systems, and Control, 2nd ed. Cambridge: Cambridge University Press, 2022. https://doi.org/10.1017/9781009089517 (volně dostupné, free book: https://databookuw.com/databookV2.pdf).
|