Ya, itu sebenarnya adalah pengamatan yang cukup tajam. Penggerak utama di balik pembelajaran mendalam? Itu adalah operasi perkalian matriks GEMM yang berjalan dalam skala besar. Arsitektur yang berbeda menggunakan unit atom yang berbeda - kadang-kadang Anda melihat blok 4x4, lain kali 4x4x4, dan beberapa bahkan sebesar 256x256. Apa yang sebenarnya kita lakukan di tingkat industri adalah memproduksi kapasitas komputasi secara massal yang khusus disesuaikan untuk operasi ini. Itulah tulang punggung dari seluruhnya.