Глубинное обучение 2 2025 — различия между версиями

Версия 01:35, 22 сентября 2025

Общая информация

Курс предназначен для студентов 4 курса ФКН ПМИ (МОП и КНАД).

Занятия проходят по понедельникам 14:40-17:40 (переносы будут сообщаться в чате).

Полезные ссылки:

• Чат с обсуждением: https://t.me/+8dcjl4gHlyEwYzcy
• Репозиторий курса: https://github.com/thecrazymage/DL2_HSE
• Таблица с оценками: TBA
• Anytask: TBA

Формула итоговой оценки (округление арифметическое):

1. МОП: О_итог = 0.25 * О_{соревнование} + 0.75 * О_ДЗ,
2. КНАД: О_итог = О_ДЗ,

где О_ДЗ - средняя оценка за практические домашние задания.

Преподаватели и ассистенты

Кому писать, если кажется, что все пропало: Мишан Алиев

Лекции и семинары

Лекция / Семинар 1 (08.09).

Тема: Essentials of GPU, Deep Learning Bottlenecks, and Benchmarking Basics

Аннотация: In this session, we will explore the reasons behind the dominance of GPUs in Deep Learning and examine the common sources of performance bottlenecks in DL code. You will learn how to identify these bottlenecks using profiling tools and apply techniques to optimize and accelerate your code.

Лектор и семинарист: Fedor Velikonivtsev

Локация: лекция - R208, семинар - D102.

Материалы: запись лекции, запись семинара, материалы.

Лекция / Семинар 2 (15.09).

Тема: On Transformers and Bitter Lesson

Аннотация: In this talk we’ll dive into the landscape of model architectures in deep learning, with a focus on the world around transformers. We’ll briefly recall what a transformer is, trace the evolution from encoder–decoder to encoder-only and decoder-only models, and touch on the rise of “efficient mixers” such as state space models, linear attention, and beyond. We’ll conclude by reflecting on the role of data and compute. The lecture is inspired in part by The Bitter Lesson and blends a brain dump with some entertaining insights from recent years of architectural exploration.

Лектор и семинарист: Ivan Rubachev

Локация: лекция - R206, семинар - R208.

Материалы: запись лекции и семинара, материалы.

Лекция / Семинар 3 (22.09).

Тема: Modern LLMs essentials

Аннотация лекции: This week, we will discuss LLMs. We will discuss why they are so effective for text generation, how they can be applied to different NLP problems, and the risks they pose. You will learn the details of RLHF, PEFT, and RAG, which make LLMs robust in various cases.

Лектор: Alexander Shabalin

Локация: онлайн.

Аннотация семинара: In this seminar, we will explore the concept of LLM-based agents and how they extend the capabilities of modern language models. We will discuss function calling as a way to integrate external tools, chain-of-thought reasoning for structured problem solving, and reinforcement learning techniques for training agents.

Семинарист: Ivan Ershov

Локация: R208.

Материалы: to be added.

Домашние задания

Соревнование

TBA