Ừ, thực sự đó là một quan sát khá sắc bén. Công cụ thực sự đứng sau học sâu? Chính là những phép nhân ma trận GEMM đang hoạt động ở quy mô lớn. Các kiến trúc khác nhau sử dụng các đơn vị nguyên tử khác nhau - đôi khi bạn đang nhìn vào các khối 4x4, lúc khác là 4x4x4, và một số lớn đến 256x256. Điều chúng ta thực sự đang làm ở cấp độ công nghiệp là sản xuất hàng loạt khả năng tính toán được điều chỉnh đặc biệt cho các phép toán này. Đó là nền tảng của toàn bộ vấn đề.