Словарь диффузионных языковых моделей
Краткие определения, частые ошибки и первичные источники: от маскирования и ELBO до NFE, задержки и управления генерацией.
- Прямой процесс
- Обратный процесс
- Поглощающая маска
- Дискретный score / score entropy
- ELBO / отрицательный ELBO
- Непрерывное и дискретное состояние
- Число вычислений сети (NFE)
- Задержка и пропускная способность
- Условная генерация
- Управление генерацией (guidance)
- Жёсткое ограничение
- Повторное маскирование и сохранение токенов
- Блочная диффузия
- Протокол оценки
- Основание утверждения на сайте
- Основной корпус на сайте
Прямой процесс
Заданный процесс зашумления, переводящий чистые данные к шуму или маскам.
Не путайте его с генерацией текста.
Обратный процесс
Обученные переходы от зашумлённых состояний к состояниям, похожим на данные.
Это распределение, а не восстановление единственного исходного предложения.
Поглощающая маска
В прямом процессе замаскированная позиция не может выйти из состояния маски.
Ограничение относится к зашумлению, а не запрещает раскрывать маски при генерации.
Дискретный score / score entropy
SEDD моделирует отношения вероятностей дискретных состояний; score entropy — его функция потерь.
Это не производная по целочисленному ID токена.
ELBO / отрицательный ELBO
Нижняя граница логарифма правдоподобия; её отрицание — верхняя граница отрицательного логарифма правдоподобия.
Граница и точное правдоподобие не взаимозаменяемы.
Непрерывное и дискретное состояние
Diffusion-LM восстанавливает вещественные представления слов; категориальная диффузия работает с дискретными состояниями.
Непрерывное время не означает непрерывных состояний, а эмбеддинги не обязательно являются сжатым латентом автоэнкодера.
Число вычислений сети (NFE)
Количество вычислений сети, а не просто число запланированных шагов денойзинга.
Кеш может исключать вызовы; управление или решатель — добавлять работу. Укажите правило подсчёта.
Задержка и пропускная способность
Задержка — время выполнения запроса; пропускная способность — объём выполненной работы за единицу времени.
Сравнивайте оборудование, длину, батч, точность, кеш и качество. Одного NFE недостаточно.
Условная генерация
Генерация с учётом входной последовательности или другой заданной информации.
Наличие условия не создаёт автоматически жёсткое ограничение на результат.
Управление генерацией (guidance)
Направление генерации дополнительным сигналом; Diffusion-LM использует градиенты по непрерывным промежуточным состояниям.
Учитывайте вычисления управляющей модели и проверяйте декодированный результат.
Жёсткое ограничение
Требование к каждому принимаемому результату, например неизменность защищённых токенов.
Само по себе улучшение оценки управляемости не доказывает такую гарантию.
Повторное маскирование и сохранение токенов
Повторное маскирование снова скрывает раскрытый токен; carry-over в MDLM копирует раскрытые входные токены.
Не считайте, что любой маскированный генератор пересматривает все прежние решения.
Блочная диффузия
Авторегрессия между блоками токенов с диффузией внутри каждого условного блока.
Зависимости между блоками остаются последовательными.
Протокол оценки
Данные и разбиение, определение метрики, настройки генерации и вычислительные условия результата.
Если условия отсутствуют или различаются, не считайте числа напрямую сопоставимыми.
Основание утверждения на сайте
Фрагмент указанного источника, подтверждающий конкретное утверждение.
Интерпретация модели не является независимо измеренным результатом.
Основной корпус на сайте
Работы, отобранные как непосредственно относящиеся к диффузионному моделированию языка.
Метка релевантности не гарантирует научного качества.