使用TileLang设计高性能GPU核心：张量GEMMs、融合Softmax、FlashAttention与自动调优

TileLang，一种基于Python构建的高级领域特定语言，旨在简化高性能GPU内核的设计。一篇教程逐步演示了复杂工作负载的实现，包括基于张量核心的块状GEMM张量计算、融合softmax以及FlashAttention。编译器自动处理复杂的线程映射、内存布局以及低级CUDA指令的生成，使开发者能够专注于算法逻辑，而无需手动优化。