Sim, na verdade, essa é uma observação bastante perspicaz. O verdadeiro trabalho por trás do aprendizado profundo? São aquelas operações de multiplicação de matrizes GEMM rodando em escala. Diferentes arquiteturas usam diferentes unidades atômicas - às vezes você está olhando para blocos 4x4, outras vezes é 4x4x4, e algumas vão até 256x256. O que estamos realmente fazendo em nível industrial é produzir em massa capacidade computacional especificamente ajustada para essas operações. Essa é a espinha dorsal de tudo.