Трек 1 · уроки 1–15
Основы
Математика, PyTorch, предсказание следующего токена, токены, embeddings и позиции.
Старт: математика и PyTorch
Освежаем нужную математику и PyTorch и окидываем взглядом весь курс целиком.
1Готово
Что такое большая языковая модель? Общая картина
- LLM — это функция, которая выдаёт распределение вероятностей следующего токена
- Жизненный цикл модели: pretraining → post-training → serving → применение
- Почему одна модель решает множество задач: классификацию, суммаризацию, чат
- Как в ту же схему встраиваются изображения и видео
2Готово
Нужная математика, часть 1: векторы, скалярные произведения, матрицы и softmax
- Векторы как списки признаков; скалярное произведение как мера сходства
- Умножение матриц = множество скалярных произведений сразу; правило размерностей (B, T, d)
- Softmax превращает оценки в вероятности; температура делает распределение острее или ровнее
- Численная устойчивость: вычитаем максимум перед exp
3Готово
Нужная математика, часть 2: вероятность, cross-entropy, KL-дивергенция и perplexity
- Метод максимального правдоподобия = минимизация negative log-likelihood
- Cross-entropy между данными и моделью; KL-дивергенция как «штраф» за неверную модель
- Perplexity = exp(средний loss)
- Наты против битов; loss 2,0 ната даёт perplexity ≈ 7,4
4Готово
Оптимизация: backpropagation, SGD, Adam и AdamW, расписания learning rate
- Backprop = цепное правило, прокрученное назад по графу вычислений
- SGD, momentum и Adam; зачем AdamW отделяет weight decay
- Warmup + cosine decay и warmup-stable-decay (WSD)
- Как связаны размер батча, learning rate и шум градиентов
5Готово
Лаба: ментальная модель PyTorch и крошечная биграммная языковая модель
- Тензоры, dtype, устройства, граф autograd, nn.Module
- Чистый воспроизводимый training loop: seed, eval mode, no_grad
- Обучаем биграммную и небольшую MLP-модель на коротком тексте
- Читаем кривую loss, сэмплируем текст, считаем perplexity
Языковое моделирование и токены
Как текст превращается в числа: предсказание следующего токена, токенизаторы и спецтокены.
6Готово
Языковое моделирование: предсказание следующего токена, от n-грамм до нейросетей
- Цепное правило: вероятность текста — произведение вероятностей следующих токенов
- Авторегрессивная генерация: предсказать, дописать, повторить
- n-граммные модели как простой baseline и почему они ломаются (разреженность, короткая память)
- Teacher forcing при обучении против свободной генерации при inference
7Готово
До трансформеров: RNN, LSTM, seq2seq и первый attention
- Скрытое состояние RNN как бегущая сводка; затухающие градиенты
- Гейты LSTM как управление памятью
- Seq2seq encoder–decoder и узкое горлышко одного вектора
- Attention Бахданау: декодер смотрит на все состояния энкодера. Трансформеры оставили эту идею.
8Готово
Что такое токен? Подсловная токенизация (BPE, WordPiece, Unigram)
- Символы против слов против подслов: размер словаря против длины последовательности
- Byte-level BPE шаг за шагом: считаем пары, сливаем самую частую, повторяем
- WordPiece и Unigram (SentencePiece): в чём отличия
- Влияние размера словаря: размер embedding, цена выходного слоя, токенов на слово
9Готово
Спецтокены, chat templates и ловушки токенизаторов
- BOS, EOS, PAD, UNK; CLS, SEP, MASK в BERT: зачем нужен каждый
- Chat templates: токены ролей (system, user, assistant), tool-call, thinking-токены
- Токены-заглушки для изображений, аудио и видео в мультимодальных моделях
- Ловушки: числа, пробелы, glitch-токены и цена для неанглийских языков
10Готово
Лаба: пишем byte-level BPE-токенизатор с нуля
- Обучаем BPE на небольшом корпусе; проверяем, что encode → decode возвращает исходный текст
- Сравниваем с tiktoken и токенизатором Hugging Face
- Измеряем число токенов на слово для английского и другого языка
- Разбираем реальный chat template и находим его спецтокены
Embeddings и позиции
Как токены становятся векторами и как модель узнаёт порядок слов.
11Готово
Embeddings: превращаем ID токенов в векторы
- Слой embedding = one-hot × матрица = выборка строки из таблицы
- Интуиция word2vec: слова в похожих контекстах получают близкие векторы
- Косинусное сходство и геометрия смысла, и где она ломается
- Размер embedding и число параметров: |V| × d
13Готово
Позиция, часть 1: зачем помогать порядку; абсолютные и относительные позиции
- Self-attention не видит порядка: без позиций «собака кусает человека» = «человек кусает собаку»
- Синусоидальные и обучаемые абсолютные позиции
- Относительные позиции: бакеты смещений T5 и линейный bias ALiBi
- Что происходит за пределами длины обучения
14Готово
Позиция, часть 2: RoPE в деталях и первый взгляд на 2D и 3D RoPE
- Поворот каждой пары координат на угол, растущий с позицией
- Почему оценка зависит только от расстояния m − n
- Частоты θ_{i}, база (10000 и выше), длинные и короткие волны
- Превью: 2D RoPE для патчей изображений и M-RoPE для видео (время, высота, ширина)
15Готово
Лаба: embeddings и RoPE своими руками
- Визуализируем обученные embeddings через PCA; ищем ближайших соседей
- Реализуем RoPE; проверяем на числах, что оценки зависят только от относительной позиции
- Строим график частот RoPE; смотрим, какие координаты отвечают за дальние и ближние связи