Глубинное обучение 2 2025

Общая информация

Курс предназначен для студентов 4 курса ФКН ПМИ (МОП и КНАД).

Занятия проходят по понедельникам 14:40-17:40 (переносы будут сообщаться в чате).

Полезные ссылки:

• Чат с обсуждением: https://t.me/+8dcjl4gHlyEwYzcy
• Репозиторий курса: https://github.com/thecrazymage/DL2_HSE
• Таблица с оценками: TBA
• Anytask: TBA

Формула итоговой оценки (округление арифметическое):

1. МОП: О_итог = 0.25 * О_{соревнование} + 0.75 * О_ДЗ,
2. КНАД: О_итог = О_ДЗ,

где О_ДЗ - средняя оценка за практические домашние задания.

Преподаватели и ассистенты

Кому писать, если кажется, что все пропало: Мишан Алиев

Группа	Семинарист	Ассистенты	Чаты групп	Инвайт в anytask
221 (МОП)	Федя Великонивцев	Динар Саберов, Анна Василева	МОП 221	TBA
222 (МОП)	Ева Неудачина	Александр Матосян, Полина Кадейшвили	МОП 222	TBA
223 (МОП)	Иван Ершов	Андрей Уткин, Георгий Фатахов	МОП 223	TBA
224 (МОП)	Степан Беляков	Анна Пономарчук, Татьяна Яковлева	МОП 224	TBA
КНАД	Даня Бураков	Анастасия Лапшина, Иван Галий	КНАД	TBA

Лекции и семинары

Лекция / Семинар 1 (08.09).

Тема: Essentials of GPU, Deep Learning Bottlenecks, and Benchmarking Basics

Аннотация: In this session, we will explore the reasons behind the dominance of GPUs in Deep Learning and examine the common sources of performance bottlenecks in DL code. You will learn how to identify these bottlenecks using profiling tools and apply techniques to optimize and accelerate your code.

Лектор и семинарист: Fedor Velikonivtsev

Локация: лекция - R208, семинар - D102.

Лекция / Семинар 2 (15.09).

Тема: On Transformers and Bitter Lesson

Аннотация: In this talk we’ll dive into the landscape of model architectures in deep learning, with a focus on the world around transformers. We’ll briefly recall what a transformer is, trace the evolution from encoder–decoder to encoder-only and decoder-only models, and touch on the rise of “efficient mixers” such as state space models, linear attention, and beyond. We’ll conclude by reflecting on the role of data and compute. The lecture is inspired in part by The Bitter Lesson and blends a brain dump with some entertaining insights from recent years of architectural exploration.

Лектор и семинарист: Ivan Rubachev

Локация: лекция - R206, семинар - R208.

Домашние задания

№	Домашнее задание	Ссылка	Дедлайн (жёсткий)
1	Tensor and DL Libraries]	https://github.com/thecrazymage/DL2_HSE/tree/main/homeworks/homework_01	30 сентября, 23:59

Соревнование

TBA