Lập trình song song, bộ xử lý và bộ nhớ đệm cùng Kayvon và Kunle

Tác giả, một sinh viên năm thứ tư tại Stanford, đã tham gia một khóa học lập trình song song và nhận thấy nó mở mang tầm mắt về kiến trúc vi xử lý. Các giảng viên, Kayvon Fatahalian (chuyên gia về đồ họa và hiệu năng) và Kunle Olukotun (người tiên phong trong lĩnh vực bộ vi xử lý đa lõi), là những người xuất sắc nhất. Bài viết đề cập đến ba chủ đề chính: chuyên môn hóa phần cứng, kiến thức cơ bản về CPU và tính nhất quán của bộ nhớ đệm. Chuyên môn hóa phần cứng được thúc đẩy bởi nhu cầu năng lượng và hiệu suất của trí tuệ nhân tạo (AI); định luật Dennard đã kết thúc vào khoảng năm 2005-2007, vì vậy phần cứng đặc biệt như bộ tăng tốc (accelerator) tiết kiệm năng lượng hơn cho các phép toán số học song song. CPU bao gồm Bộ điều khiển (Control Unit), Khối số học và logic (ALU) và thanh ghi (register), tất cả được xây dựng từ bóng bán dẫn (transistor). Bộ nhớ đệm (cache) là bộ lưu trữ tạm thời giúp cải thiện hiệu suất mà không ảnh hưởng đến tính chính xác, và các giao thức nhất quán như MESI (Modified, Exclusive, Shared, Invalid) đảm bảo tính nhất quán dữ liệu trên nhiều bộ nhớ đệm. Tác giả cũng đề cập rằng khóa học không bao gồm SIMD (Single Instruction, Multiple Data), SPML, GPU, CUDA, khóa (lock) và bộ nhớ giao dịch (transactional memory), đồng thời liên kết đến một video về chế tạo vi xử lý và một bài nghiên cứu về bộ nhớ sắt điện từ MIPT.