ME News повідомляє, 24 квітня (UTC+8), за даними моніторингу 动察 Beating, технічний звіт DeepSeek V4 розкриває, що V4-Flash та V4-Pro попередньо навчалися на 32T та 33T токенах відповідно, що вдвічі більше порівняно з приблизно 15T токенами V3. У звіті визнають, що під час навчання «виникли значні проблеми з нестабільністю», стрибки втрат (loss spike) повторювалися, причина — аномальні значення в шарах MoE, а сам механізм маршрутизації посилював ці аномалії, простий відкат не вирішував проблему. DeepSeek знайшла два рішення і вже застосувала їх на практиці: Anticipatory Routing (попереджувальна маршрутизація) — відокремлення обчислення індексу маршрутизації від оновлення основної мережі, автоматичне спрацьовування лише при виявленні стрибка втрат, додаткові витрати близько 20%; SwiGLU Clamping — обмеження активаційних значень фіксованим діапазоном для прямого придушення аномалій. У звіті стверджується, що обидва методи ефективні, але визнається, що «базові принципи ще не повністю зрозумілі». Дослідниця Google DeepMind Сюзан Чжан (раніше працювала в Meta AI та OpenAI) прокоментувала, що нестабільність, спричинена подвоєнням даних для навчання, «пояснює затримку», назвала ці два рішення «пластирем», але похвалила технічну прозорість DeepSeek. (Джерело: BlockBeats)

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

Нагородити
подобається
Прокоментувати
Репост
Поділіться

Прокоментувати

Додати коментар

Немає коментарів

Популярні теми
Дізнатися більше
#
gStocksTokenizedStocksLive
3,96M Популярність
#
StrongNonfarmPayrollsRekindleRateHikeFear
1,02M Популярність
#
IsraelStrikesIranBTCPlunges
67,72K Популярність
#
PredictWorldCupShare20000U
178,72K Популярність
#
ETHBreaks1700
152,52M Популярність

Закріплено

карта сайту

Дослідники DeepMind припускають причину затримки DeepSeek V4: подвоєння тренувальних даних до 33T спричинило серйозну нестабільність

Популярні теми

gStocksTokenizedStocksLive

StrongNonfarmPayrollsRekindleRateHikeFear

IsraelStrikesIranBTCPlunges

PredictWorldCupShare20000U

ETHBreaks1700

Закріплено