Да, это на самом деле довольно острое наблюдение. Настоящая рабочая лошадка глубокого обучения? Это операции матричного умножения GEMM, выполняемые в больших масштабах. Разные архитектуры используют разные атомные единицы - иногда вы смотрите на блоки 4x4, в других случаях это 4x4x4, а некоторые достигают размеров 256x256. То, что мы действительно делаем на промышленном уровне, это массовое производство вычислительных мощностей, специально настроенных для этих операций. Это основа всего.