Оптимизации Nvidia для vLLM превосходят AMD на моделях MoE, достигая более 12 000 токенов в секунду

2026-07-14 09:01:35

NVDA-3,53%

AMD-4,22%

По данным SemiAnalysis от 13 июля, Nvidia продемонстрировала явные преимущества в производительности при оптимизации вывода в vLLM по сравнению с AMD: архитектура GB200 NVL72 достигала пропускной способности более 12 000 токенов в секунду на моделях с mixture-of-experts, таких как Kimi K2.5. В анализе отмечалось, что фреймворк Dynamo для распределённого вывода от Nvidia, глубоко интегрированный с vLLM, позволяет эффективно выполнять параллелизацию экспертов и оптимизировать KV-кэш, тогда как AMD MI355X в настоящее время использует стандартные версии vLLM без сопоставимой глубины оптимизации для крупномасштабных сценариев MoE.

Посмотреть источник

Дисклеймер: Информация на этой странице может быть получена из источников третьих сторон и предоставляется только для ознакомления. Она не отражает взгляды или мнения Gate и не является финансовой, инвестиционной или юридической рекомендацией. Торговля виртуальными активами связана с высоким риском. Пожалуйста, не основывайте свои решения исключительно на данных этой страницы. Подробнее смотрите в Дисклеймере.

Связанные новости

2ч назад

SK Hynix увеличивает производство HBM4 с 12 слоями для Nvidia, расширяя выпуск с сентября

2ч назад

SK Hynix запускает массовое производство 12-слойной HBM4 для Nvidia 14 июля

3ч назад

Mitsubishi Heavy Industries и Nvidia исследуют сотрудничество в области ИИ‑датасцентров, связанное с технологиями охлаждения

7ч назад

Морган Стэнли: сложность для Nvidia — разрыв в финансировании, а не фундаментальные факторы; устанавливает целевую цену $288

11ч назад

Oriental Compute Core представила чип DF1000 для ИИ с пропускной способностью памяти 6,4 ТБ/с 13 июля

Детальный анализ