Компания DeepSeek, совместно с Пекинским университетом, анонсировала новый модуль DSpark, который значительно ускоряет процесс генерации ответов нейросетей, не изменяя основную модель. На боевых серверах превью-версий DeepSeek-V4-Flash и V4-Pro скорость выдачи результатов для каждого пользователя возросла на 85%. Исходный код и технический отчет можно найти на GitHub.

Разработанная технология относится к спекулятивному декодированию, которое позволяет ускорять получение ответов, сохраняя качество. Получившийся текст остается математически идентичным традиционной генерации. Измерения проводились по сравнению с предыдущей версией, известной как MTP-1.

Главные идеи, лежащие в основе работы DSpark, заключаются в следующем. Первая идея касается спекулятивного декодирования, где используется легкая модель-черновик, которая быстро предугадывает несколько токенов (слов или их частей) заранее, а затем большая модель проверяет весь блок целиком — это более эффективно, чем поочередная генерация токенов. Если отрезок совпадает с началом блока, он принимается за один раз, что позволяет пользователю получить больше информации за короткий период. Однако при генерации токенов сразу возникает проблема стыковки, что может привести к неестественным фразам. Чтобы избежать этого, DeepSeek внедрил дополнительный последовательный модуль, который перед добавлением нового токена оценивает уже выбранные — это улучшает качество стыковки без значительного влияния на скорость работы черновика.

Вторая идея связана с минимизацией ненужной проверки. Проверка токенов требует ресурсов, и каждый неэффективный токен занимает место в очереди, отказывая другим пользователям в возможности получения ответов. DSpark умеет предсказывать шансы прохождения проверки для каждого токена, а индивидуальный планировщик в режиме реального времени наблюдает за загрузкой графических процессоров: в свободные моменты он может увеличивать количество токенов, которые проверяются одновременно, а в пиковые часы ограничивает проверку только наиболее надежных токенов. Это обеспечивает эффективность работы без перегрузки серверов в критические моменты.

Дополнительно DeepSeek представил полный набор инструментов для обучения моделей-черновиков — DeepSpec. Включает три алгоритма, включая DSpark, а также поддержку моделей от сторонних разработчиков, таких как Qwen3 от Alibaba и Gemma от Google. Это открывает возможность ускорять не только собственные разработки компании, но и нейросети других производителей.

Ускорение инференса

DeepSeek выложил модуль, ускоряющий ответы ИИ