并行编程、处理器与缓存:Kayvon 和 Kunle 的课堂回顾
Moscow Institute of Physics and Technology
一位斯坦福学生回顾了由 Kayvon Fatahalian 和 Kunle Olukotun 讲授的并行编程课程,内容涵盖面向人工智能的硬件特化、CPU 架构以及缓存一致性协议。文章讨论了特化硬件如何提升能效与性能,并解释了缓存及 MESI 协议。
作者是斯坦福大学四年级学生,选修了一门并行编程课程,发现这门课对微处理器架构的讲解令人大开眼界。授课教师凯文·法塔哈利安(图形与性能专家)和昆莱·奥卢科通(多核处理器先驱)是业内顶尖的学者。文章主要涵盖三个主题:硬件特化、CPU基础知识和缓存一致性。硬件特化是由人工智能对能源和性能的需求驱动的;登纳德缩放定律大约在2005年至2007年结束,因此像加速器这样的专用硬件在执行并行算术运算时更加节能。CPU由控制单元、算术逻辑单元(ALU)和寄存器组成,这些都由晶体管构建。缓存是一种临时存储,能在不影响正确性的情况下提升性能,而像MESI这样的缓存一致性协议则能确保多个缓存之间的数据一致性。作者还提到,这门课程没有涵盖单指令多数据(SIMD)、SPML、图形处理器(GPU)、统一计算设备架构(CUDA)、锁和事务性内存,并附上了关于微处理器制造的视频和来自莫斯科物理技术学院(MIPT)的铁电存储器研究论文的链接。
来源: Habr — хаб ИИ —
原文
