|
|
| Строка 92: |
Строка 92: |
| | | | |
| | == Домашние задания == | | == Домашние задания == |
| − | Инвайт в Anytask: <code>uupDuUn</code>
| |
| − |
| |
| − | За каждый день просрочки после мягкого дедлайна снимается 1 балл. После жёсткого дедлайна работы не принимаются.
| |
| − |
| |
| − | ===Задание 1. Трансформеры ===
| |
| − | В этой домашней работе вам предстоит добавить к BERT'у декодерную часть и решить задачу генерации суммаризаций для текстов новостей на русском языке.
| |
| − |
| |
| − | '''Мягкий дедлайн''': 01 октября 2024 года 23:59
| |
| − |
| |
| − | '''Дедлайн''': 05 октября 2024 года 23:59
| |
| − |
| |
| − | '''Ссылка''': https://github.com/hushchyn-mikhail/gen_models_ai_hse/blob/main/2024/homeworks/homework_1.ipynb
| |
| − |
| |
| − |
| |
| − | ===Задание 2. Генерация параметров кластеров на изображениях для частиц: cWGAN, cVAE===
| |
| − | Ваша задача заключается в том, чтобы с помощью генеративно-состязательных сетей научиться генерировать параметры кластеров на изображениях телескопа для каждого типа частиц (фотона или адрона)
| |
| − |
| |
| − | '''Мягкий дедлайн''': <strike>09 октября (Ср.)</strike> 11 октября (Пт.) 2024 года, 23:59
| |
| − |
| |
| − | '''Дедлайн''': <strike>13 октября (Вс.)</strike> 15 октября (Вт.) 2024 года, 23:59
| |
| − |
| |
| − | '''Ссылка''': https://github.com/hushchyn-mikhail/gen_models_ai_hse/tree/main/2024/homeworks/hw2
| |
| − |
| |
| − |
| |
| − |
| |
| − | ===Задание 3. Генерация параметров кластеров на изображениях для частиц: диффузия, нормпотоки===
| |
| − | Ваша задача заключается в том, чтобы с помощью диффузии и нормпотоков научиться генерировать параметры кластеров на изображениях телескопа для каждого типа частиц (фотона или адрона)
| |
| − |
| |
| − | '''Мягкий дедлайн''': 19 октября (Сб.) 2024 года, 23:59
| |
| − |
| |
| − | '''Дедлайн''': 22 октября (Вт.) 2024 года, 23:59
| |
| − |
| |
| − | '''Ссылка''': https://github.com/hushchyn-mikhail/gen_models_ai_hse/tree/main/2024/homeworks/hw3
| |
| | | | |
| | == Тесты == | | == Тесты == |
Версия 09:27, 26 августа 2025
О курсе
Курс читается на первом модуле студентам магистерской образовательной программы "Искусственный интеллект".
Канал и чат курса в ТГ: Чат
| Группа |
Преподаватели |
Zoom |
Время
|
| Базовая |
Ершов Глеб |
Zoom |
суббота 13:00 + вторник 17.09 18:10
|
| Продвинутая |
Гущин Михаил |
Zoom |
четверг 18:10 + среда 25.09 18:10
|
Материалы курса
Ссылка на плейлист курса на VK: VK-playlist
Ссылка на GitHub с материалами курса: GitHub
Ссылка на stepik: Stepik
| Занятие |
Тема |
Материалы для самоподготовки к семинарам |
Материалы семинаров |
Дополнительные материалы
|
| 1 |
Трансформеры |
Модули 10 и 11 на Stepik |
Тетрадка, Colab, Запись_продвинутая |
Запись лекции про Attention и трансформеры на ИАДе, Слайды к ней; Attention is All You Need; The Illustrated Transformer; Visualizing Attention, a Transformer's Heart;
|
| 2 |
Архитектуры трансформеров |
Модули 10, 11 и 12 на Stepik |
Тетрадка, Colab, Запись продвинутая |
Кратко про BERT, GPT и T5 модели; The Illustrated BERT, ELMo, and co.;
|
| 3 |
Генеративно-состязательные сети (GANs) |
Модули 14.1 и 15.1 на Stepik |
Слайды, Лекция, Семинар, Ноутбук |
Лекция ПЗАД по GAN и слайды; туториал по DCGAN от torch; оригинальная статья Яна Гудфеллоу; Wiki ИТМО; глава из учебника Яндекса
|
| 4 |
Вариационные автокодировщики (VAEs) и нормализующие потоки (Normalizing Flows) |
Модули 14 и 15.3 на Stepik |
Слайды, Запись лекции, Семинарский ноутбук, Запись семинара |
Лекция ПЗАД по NF и слайды; глава учебника Яндекса про VAE, обзор NVAE, реализация NVAE, реализация VAE на Habr; глава учебника Яндекса по NF, заметки о различных архитектурах NF, репозиторий с реализациями архитектур NF
|
| 5 |
Диффузионные модели |
Модуль 15 на Stepik |
Запись лекции, Слайды, Тетрадка с семинара, Запись семинара |
Лекция ПЗАД по диффузиям и слайды; глава в учебнике Яндекса, курс HuggingFace, заметки о генерации видео, описание создания e2e модели генерации видео от Яндекса, репозиторий с материалами по диффузиям
|
| 6 |
Мультимодальные модели |
Модуль 15 на Stepik |
Запись лекции, Слайды, Семинарский ноутбук, Запись семинара |
семинар от Сбера про различные мультимодальные архитектуры, статья про CLIP от OpenAI, туториал по ViT на HuggingFace
|
| 7 |
Синтез речи (Text-to-Speech) |
- |
Запись лекции, Слайды, Семинарский ноутбук, Запись семинара |
Wiki ИТМО, туториал HuggingFace, верхнеуровневый обзор технологий синтеза речи от Sber, репозиторий курса DLA
|
| 8 |
Оптимизация моделей |
Модуль 16 на Stepik |
Запись лекции, Слайды, Семинарский ноутбук, Запись семинара |
Про дистилляцию знаний, Про квантизацию (Хабр), Про pruning (pytorch) и калибровку
|
Конусльтации
1. ДЗ-1 (Глеб Ершов): https://vk.com/video-227011779_456239083
Формула оценивания
Общая оценка: 0.5*ДЗ + 0.15*Тесты + 0.25*Экз. + 0.1*Stepik
Экзамен, как и все прочие формы контроля, не блокирующий. Сколько накопили до экзамена, столько (после математического округления) можем ставить в итог за курс.
Stepik
В оценку за Stepik идут только следующие модули:
Важно: Части степика с домашними заданиями делать не нужно (15.4, например). Но нужно ответить на квизы в других его частях (15.1, например).
Домашние задания
Тесты
- "Attention, Transformers": ссылка, дедлайн -- 25.09 (Ср.), 23:59 МСК
- "Классические генеративные модели: GAN, (V)AE, Normalizing Flows, Diffusion": ссылка, дедлайн -- 07.10.24 (Пн.), 23:59
- "Мультимодальность, TTS, оптимизация инференса": ссылка, дедлайн -- 21.10.24 (Пн.), 23:59
Тренировочные тесты (неоцениваемые)
Экзамен
Вопросы к экзамену: Google Doc
Пробный вариант: ссылка на сообщение с pdf в чате курса
Пройдет 23.10 (Ср.) в 19:00
На написание 80 мин. (одна пара), 10 мин. на загрузку заданий в Энитаск
В Зуме нужно будет включить веб-камеру, выключить микрофон и запустить демонстрацию экрана.
За написанием будут следить преподаватели и ассистенты
От 4-х до 6-ти задач на разное количество баллов (в сумме -- 10)
Литература
Курсы по машинному обучению и анализу данных
Книги
