Курс LLM & VLMГлавная
Трек 1 · уроки 1–15

Основы

Математика, PyTorch, предсказание следующего токена, токены, embeddings и позиции.

Старт: математика и PyTorch

Освежаем нужную математику и PyTorch и окидываем взглядом весь курс целиком.

1

Что такое большая языковая модель? Общая картина

  • LLM — это функция, которая выдаёт распределение вероятностей следующего токена
  • Жизненный цикл модели: pretraining → post-training → serving → применение
  • Почему одна модель решает множество задач: классификацию, суммаризацию, чат
  • Как в ту же схему встраиваются изображения и видео
Готово
2

Нужная математика, часть 1: векторы, скалярные произведения, матрицы и softmax

  • Векторы как списки признаков; скалярное произведение как мера сходства
  • Умножение матриц = множество скалярных произведений сразу; правило размерностей (B, T, d)
  • Softmax превращает оценки в вероятности; температура делает распределение острее или ровнее
  • Численная устойчивость: вычитаем максимум перед exp
Готово
3

Нужная математика, часть 2: вероятность, cross-entropy, KL-дивергенция и perplexity

  • Метод максимального правдоподобия = минимизация negative log-likelihood
  • Cross-entropy между данными и моделью; KL-дивергенция как «штраф» за неверную модель
  • Perplexity = exp(средний loss)
  • Наты против битов; loss 2,0 ната даёт perplexity ≈ 7,4
Готово
4

Оптимизация: backpropagation, SGD, Adam и AdamW, расписания learning rate

  • Backprop = цепное правило, прокрученное назад по графу вычислений
  • SGD, momentum и Adam; зачем AdamW отделяет weight decay
  • Warmup + cosine decay и warmup-stable-decay (WSD)
  • Как связаны размер батча, learning rate и шум градиентов
Готово
5

Лаба: ментальная модель PyTorch и крошечная биграммная языковая модель

  • Тензоры, dtype, устройства, граф autograd, nn.Module
  • Чистый воспроизводимый training loop: seed, eval mode, no_grad
  • Обучаем биграммную и небольшую MLP-модель на коротком тексте
  • Читаем кривую loss, сэмплируем текст, считаем perplexity
Готово

Языковое моделирование и токены

Как текст превращается в числа: предсказание следующего токена, токенизаторы и спецтокены.

6

Языковое моделирование: предсказание следующего токена, от n-грамм до нейросетей

  • Цепное правило: вероятность текста — произведение вероятностей следующих токенов
  • Авторегрессивная генерация: предсказать, дописать, повторить
  • n-граммные модели как простой baseline и почему они ломаются (разреженность, короткая память)
  • Teacher forcing при обучении против свободной генерации при inference
Готово
7

До трансформеров: RNN, LSTM, seq2seq и первый attention

  • Скрытое состояние RNN как бегущая сводка; затухающие градиенты
  • Гейты LSTM как управление памятью
  • Seq2seq encoder–decoder и узкое горлышко одного вектора
  • Attention Бахданау: декодер смотрит на все состояния энкодера. Трансформеры оставили эту идею.
Готово
8

Что такое токен? Подсловная токенизация (BPE, WordPiece, Unigram)

  • Символы против слов против подслов: размер словаря против длины последовательности
  • Byte-level BPE шаг за шагом: считаем пары, сливаем самую частую, повторяем
  • WordPiece и Unigram (SentencePiece): в чём отличия
  • Влияние размера словаря: размер embedding, цена выходного слоя, токенов на слово
Готово
9

Спецтокены, chat templates и ловушки токенизаторов

  • BOS, EOS, PAD, UNK; CLS, SEP, MASK в BERT: зачем нужен каждый
  • Chat templates: токены ролей (system, user, assistant), tool-call, thinking-токены
  • Токены-заглушки для изображений, аудио и видео в мультимодальных моделях
  • Ловушки: числа, пробелы, glitch-токены и цена для неанглийских языков
Готово
10

Лаба: пишем byte-level BPE-токенизатор с нуля

  • Обучаем BPE на небольшом корпусе; проверяем, что encode → decode возвращает исходный текст
  • Сравниваем с tiktoken и токенизатором Hugging Face
  • Измеряем число токенов на слово для английского и другого языка
  • Разбираем реальный chat template и находим его спецтокены
Готово

Embeddings и позиции

Как токены становятся векторами и как модель узнаёт порядок слов.

11

Embeddings: превращаем ID токенов в векторы

  • Слой embedding = one-hot × матрица = выборка строки из таблицы
  • Интуиция word2vec: слова в похожих контекстах получают близкие векторы
  • Косинусное сходство и геометрия смысла, и где она ломается
  • Размер embedding и число параметров: |V| × d
Готово
12

Контекстные embeddings, hidden states и выходной слой

  • Статические против контекстных: «bank» (берег) и «bank» (банк) получают разные hidden states
  • Hidden states слой за слоем; что может означать «embedding предложения»
  • Unembedding: hidden state → logits по словарю; weight tying
  • Embeddings предложений: CLS, mean pooling, последний токен
Готово
13

Позиция, часть 1: зачем помогать порядку; абсолютные и относительные позиции

  • Self-attention не видит порядка: без позиций «собака кусает человека» = «человек кусает собаку»
  • Синусоидальные и обучаемые абсолютные позиции
  • Относительные позиции: бакеты смещений T5 и линейный bias ALiBi
  • Что происходит за пределами длины обучения
Готово
14

Позиция, часть 2: RoPE в деталях и первый взгляд на 2D и 3D RoPE

  • Поворот каждой пары координат на угол, растущий с позицией
  • Почему оценка зависит только от расстояния m − n
  • Частоты θ_{i}, база (10000 и выше), длинные и короткие волны
  • Превью: 2D RoPE для патчей изображений и M-RoPE для видео (время, высота, ширина)
Готово
15

Лаба: embeddings и RoPE своими руками

  • Визуализируем обученные embeddings через PCA; ищем ближайших соседей
  • Реализуем RoPE; проверяем на числах, что оценки зависят только от относительной позиции
  • Строим график частот RoPE; смотрим, какие координаты отвечают за дальние и ближние связи
Готово