Как проверять заявления об ускорении
Отделяйте число вычислений сети от задержки и проверяйте, подходят ли аппаратные условия и нагрузка сравнения вашей задаче.
Отправные точки с источниками, а не полный обзор или текущий рейтинг. Задания для чтения ниже — рекомендации, а не проведённые сайтом эксперименты.
Перед началом
Пройдите основы или разберитесь с восстановлением масок. Определите целевую длину текста и режим использования; результаты эксперимента не нужны.
Число вычислений сети (NFE) · Задержка и пропускная способность · Повторное маскирование и сохранение токенов · Блочная диффузия · Протокол оценки
1. Сравните качество при заданном бюджете
Сравнения алгоритмов генерации и затрат с качеством; уточните определение оценщика.
SEDD исследует обмен числа вычислений сети на качество выборок. Такой обмен сам по себе не является измерением ускорения по времени.
Проверьте себя
Что должно совпадать для сравнения двух значений perplexity?
Ориентир для ответа
Проверьте данные и разбиение, токенизацию, тип значения — граница правдоподобия модели или оценка внешнего оценщика — и настройки генерации. Без условий числа несопоставимы.
2. Проверьте условия кеширования
Simple and Effective Masked Diffusion Language Models — Sahoo et al. · NeurIPS 2024
Обсуждение генерации и приложение E.2, включая оборудование и размер батча.
MDLM рассматривает кеширование при неизменном входе денойзера. Проверьте условия повторного использования, а не считайте каждый шаг новым вызовом.
Проверьте себя
Будет ли выигрыш от кеша при батче из одного примера таким же на большом батче?
Ориентир для ответа
Нет. Меняются возможности повторного использования и загрузка ускорителя. Записывайте NFE, батч, длину, точность вычислений, оборудование и время отдельно.
3. Найдите последовательную зависимость
Введение и блочная факторизация; проверьте протокол кеширования и генерации.
Block Diffusion сочетает авторегрессию между блоками с диффузией внутри блока, поддерживая KV-кеш и внутриблочный параллелизм.
Проверьте себя
Если токены внутри блока генерируются параллельно, получается ли вся последовательность за один проход?
Ориентир для ответа
Нет. Учитывайте зависимость между блоками и работу денойзера внутри них. Размер блока меняет баланс; заявление о задержке всё равно требует измерений.
Примените прочитанное
Составьте таблицу: определение качества, данные, длина, NFE, батч, оборудование, точность, кеш, задержка и пропускная способность. Неуказанные сведения оставьте неизвестными. Сайт не проводил эти эксперименты.