Основы диффузионных языковых моделей
Научитесь находить в описании метода пространство состояний, процесс зашумления, функцию потерь и алгоритм генерации.
Отправные точки с источниками, а не полный обзор или текущий рейтинг. Задания для чтения ниже — рекомендации, а не проведённые сайтом эксперименты.
Перед началом
Условная вероятность, кросс-энтропия и различие между токеном и его эмбеддингом. Реализовывать диффузию заранее не нужно.
Прямой процесс · Обратный процесс · Поглощающая маска · Дискретный score / score entropy · ELBO / отрицательный ELBO · Непрерывное и дискретное состояние
1. Определите, что зашумляется
Structured Denoising Diffusion Models in Discrete State-Spaces — Austin et al. · NeurIPS 2021
Разделы 2–3: прямой и обратный процессы, категориальные переходы.
D3PM задаёт зашумление матрицами переходов между дискретными состояниями; маскирование — один из вариантов, а не определение любой диффузии.
Проверьте себя
Для предложения из трёх токенов нарисуйте два зашумлённых состояния. Какие переходы различают маскирование и замену токенов?
Ориентир для ответа
В прямом процессе с поглощающей маской токен заменяется на MASK и остаётся маской. Общий процесс замены может переходить между токенами словаря.
2. Разделите обучение и генерацию
Simple and Effective Masked Diffusion Language Models — Sahoo et al. · NeurIPS 2024
Раздел 3: параметризация и цель обучения маскированной языковой модели.
MDLM выражает свою цель через смесь потерь маскированной языковой модели. Функция потерь и расписание генерации — разные части метода.
Проверьте себя
Определяет ли один проход предсказания масок полноценный генератор текста?
Ориентир для ответа
Нет. Нужны начальное состояние, расписание шума или времени, правило превращения предсказаний в токены и остановки. Для одной модели возможны разные алгоритмы генерации.
3. Разберитесь с дискретным score
Формулировка score entropy и условия оценки языковой модели.
SEDD оценивает отношения вероятностей дискретных состояний. Нельзя считать ID токена непрерывной координатой и брать по нему производную.
Проверьте себя
Может ли модель непрерывного времени иметь дискретное пространство состояний?
Ориентир для ответа
Да. Время и состояние — разные характеристики: время может быть непрерывным, а состояние оставаться последовательностью категориальных токенов.
Примените прочитанное
Для одной статьи заполните четыре строки: состояние → зашумление → цель обучения → генерация. Неописанные детали отметьте как неизвестные.