Strojové učenie II

Strojové učenie II je kurz ponúkaný v letnom semestri tretieho ročníka bakalárskeho štúdia pre študijný program Inteligentné systémy. Predmet nadväzuje na kurzy Umelá inteligencia a Strojové učenie, venuje sa učeniu posilňovaním (reinforcement learning).

Informačný list predmetuje je dostupný na školskom portáli.

Obsah

1. Plán prednášok a cvičení
2. Hodnotenie
3. Odporúčaná literatúra

Plán prednášok a cvičení

Prednáška z predmetu je vo štvrtok o 10:50 v miestnosti V102 v budove V4. Cvičenia sú vo štvrtok o 9:10 v miestnosti V102 v budove V4. Účasť na cvičeniach a prednáškach je povinná, študenti môžu mať maximálne tri neúčasti za semester.

	Prednáška	Cvičenie	Termíny
1. týždeň 12. 2. - 18. 2.	Úvod do učenia posilňovaním	Úvod do predmetu Matematické základy	Z1 zverejnené
2. týždeň 19. 2. - 25. 2.	Markovovské rozhodovacie procesy	Návrh a implementácia vlastného prostredia
3. týždeň 26. 2. - 3. 3.	Dynamické programovanie	Bellmanove rovnice	Z2 zverejnené
4. týždeň 4. 3. - 10. 3.	Monte Carlo metódy	Metódy policy a value iteration
5. týždeň 11. 3. - 17. 3.	TD-metódy	Monte Carlo metódy
6. týždeň 18. 3. - 24. 3.	Aproximácia hodnotových funkcií	Q-Learning a SARSA
7. týždeň 25. 3. - 31. 3.	Veľká Noc	Veľká Noc
8. týždeň 1. 4. - 7. 4.	Deep RL - Aproximácia hodnotových funkcií	Aproximačné metódy	Z1 odovzdanie
9. týždeň 8. 4. - 14. 4.	Aproximácia politiky	Q-siete, Deep Q-Network
10. týždeň 15. 4. - 21. 4.	Medzi TD a MC	Actor-critic architektúry	Z2 odovzdanie

Ďalšie informácie k prednáškam sú dostupné na tejto stránke.

Hodnotenie

Celkové hodnotenie predmetu je 100 bodov (40 + 60 bodov); študent musí získať viac ako polovicu bodov zo zápočtu a zo skúšky.

Zápočet sa skladá z dvoch zadaní, prvé za 10, druhé za 20 bodov, z piatich domácich úloh a jednej zápočtovej písomky. Zadanie 1 sa odovzdáva do konca ôsmeho týždňa a Zadanie 2 sa preberá v desiatom týždni.

Zložka	Body
Domáce úlohy	5
Zápočtová písomka	5
zadanie 1	10
zadanie 2	20
skúška	60

Odporúčaná literatúra

• SUTTON, R. S. - Barto A. G.: Reinforcement Learning: An Introduction. MIT press, 2018.
• MORALES M.: Grokking Deep Reinforcement Learning. Manning Publications, 2020.