使用TileLang设计高性能GPU核心:张量GEMMs、融合Softmax、FlashAttention与自动调优
TileLang是一种Python中的高级领域特定语言,用于简化GPU内核创建。该指南逐步演示了复杂任务的实现:张量GEMMs、融合Softmax和FlashAttention,编译器会处理底层的CUDA细节。
MarkTechPost26.07 · 15:02
TileLang是一种Python中的高级领域特定语言,用于简化GPU内核创建。该指南逐步演示了复杂任务的实现:张量GEMMs、融合Softmax和FlashAttention,编译器会处理底层的CUDA细节。
中国智能手机制造商努比亚和荣耀,以及AI初创公司阶跃星辰,正竞相在智能手机上部署AI智能体。努比亚集成了阶跃星辰的Step-2模型用于设备端语音助手,而荣耀则提供自己的AI智能体平台。这场竞赛涵盖了AI模型、硬件加速和应用生态系统。
ByteDance
Nubia Technology (努比亚)
Honor