Pemrograman Paralel, Prosesor, dan Cache bersama Kayvon dan Kunle
Moscow Institute of Physics and Technology
Seorang mahasiswa Stanford merefleksikan mata kuliah pemrograman paralel yang diajarkan oleh Kayvon Fatahalian dan Kunle Olukotun, mencakup spesialisasi perangkat keras untuk AI, arsitektur CPU, dan protokol koherensi cache. Artikel ini membahas bagaimana perangkat keras khusus meningkatkan efisiensi energi dan kinerja, serta menjelaskan cache dan protokol MESI.
Penulis, seorang mahasiswa Stanford tahun keempat, mengambil kursus pemrograman paralel dan merasa kursus tersebut membuka mata mengenai arsitektur mikroprosesor. Para pengajar, Kayvon Fatahalian (ahli grafis dan performa) dan Kunle Olukotun (pelopor dalam prosesor multikor), termasuk yang terbaik. Artikel ini membahas tiga topik utama: spesialisasi perangkat keras, dasar-dasar CPU, dan koherensi cache. Spesialisasi perangkat keras didorong oleh tuntutan energi dan performa AI; penskalaan Dennard berakhir sekitar tahun 2005-07, sehingga perangkat keras khusus seperti akselerator lebih hemat energi untuk operasi aritmetika paralel. CPU terdiri dari Unit Kontrol, ALU, dan register, semuanya dibangun dari transistor. Cache adalah penyimpanan sementara yang meningkatkan performa tanpa memengaruhi kebenaran, dan protokol koherensi seperti MESI memastikan konsistensi data di berbagai cache. Penulis juga menyebutkan bahwa kursus tersebut tidak mencakup SIMD, SPML, GPU, CUDA, kunci, dan memori transaksional, serta menautkan video tentang fabrikasi mikroprosesor dan makalah penelitian tentang memori ferroelektrik dari MIPT.
Sumber: Habr — хаб ИИ —
asli