Курс "Практикум на ЭВМ 2023/2024" для бакалавров 3 курса кафедры ММП ВМК МГУ, весенний семестр

Этот репозиторий содержит материалы к курсу "Практикум на ЭВМ", читаемому бакалаврам 3 курса кафедры ММП факультета ВМК МГУ в весеннем семестре 2024 года.

О курсе

• Обязательный курс для студентов каф. ММП 3 курса, 6 семестр
• Отчётность: зачёт с оценкой

Курс читается в поддержку курсов "Глубинное обучение" и "Математические методы распознавания образов" (машинное обучение, часть 2), читаемых на кафедре ММП. В ходе курса студенты выполняют различные практические задания.

Курс лекций по глубинному обучению

Общефакультетский курс лекций по машинному обучению 2023-2024

Общефакультетский курс лекций по машинному обучению 2022-2023

Общефакультетский курс лекций по машинному обучению 2021-2022

Курс лекций по машинному обучению

Курс семинаров по машинному обучению

Материалы

Видеозаписи практикумов выкладываются в этом плейлисте.

Видеозаписи практикумов 2023 года в этом плейлисте.

Видеозаписи практикумов 2022 года в этом плейлисте.

Видеозаписи практикумов 2021 года в этом плейлисте.

Задания выкладываются здесь.

Занятия

Дата	Номер	Тема	Материалы	ДЗ
13 февраля	01	Введение в нейросети MLP Инициализация сетей	Введение в нейросети. MLP. Инициализация сетей	¯\_(ツ)_/¯
20 февраля	02	Автоматическое дифференцирование Задачи Backpropagation	Решение задач	Полносвязная нейронная сеть на numpy
27 февраля	03	Dropout BatchNorm Введение в Pytorch	Введение в Pytorch	¯\_(ツ)_/¯
05 марта	04	Цикл обучения в Pytorch CNN для классификации Transfer Learning	Свёрточные нейронные сети. Цикл обучения	Простейшая нейронная сеть на Pytorch
12 марта	05	Семантическая сегментация Transposed Convolution	Семантическая сегментация	Сегментация изображений
19 марта	06	Обработка последовательностей RNN BPTT LSTM Gradient Clipping	Рекуррентные нейронные сети	¯\_(ツ)_/¯
26 марта	07	Языковые модели Эмбеддинги Torchtext Декодинг LM BLEU/ROUGH	Языковые модели. Torchtext	Рекуррентные Нейронные Сети. Dropout. LM
02 апреля	08	Механизм внимания Архитектура Transformer Attention is all you need	Механизм внимания. Архитектура Transformer	¯\_(ツ)_/¯
09 апреля	09	Токенизаторы Популярные transformer модели: BERT, GPT Особенности дообучения transformer моделей Transformers + 🤗	Transformer модели. HuggingFace	¯\_(ツ)_/¯
16 апреля	10	Обработка сигналов Представления звука: Waveform, Спектрограмы ASR: CTC, LAS, RNN-T	Обработка звука	Денойзинг аудио. Conformer
23 апреля	11	GAN WGAN	GAN, WGAN, WGAN + GP	¯\_(ツ)_/¯
30 апреля	12	Особенности вычислений на GPU Распределённое обучение JIT. libtorch	Advanced PyTorch Torch JIT + C++ API	GANs or LLM finetune
07 мая	--			¯\_(ツ)_/¯
14 мая	13	RL	¯\_(ツ)_/¯	¯\_(ツ)_/¯
21 мая	--			¯\_(ツ)_/¯

Формат сдачи курса

• В рамках семестра предполагается выполнить шесть больших практических заданий стоимостью 10 баллов каждое.
• За каждый день просрочки задания назначается штраф — 1 балл.
  • B ≥ 50 и 6 практических заданий сданы на оценку ≥ 4 ⇒ отлично
  • B ≥ 40 и 5 практических задания сданы на оценку ≥ 4 ⇒ хорошо
  • B ≥ 30 и 4 практических задания сданы на оценку ≥ 4 ⇒ удовлетворительно
  • иначе ⇒ неудовлетворительно