GPU 优化

FlashAttention 原理与工程实现解析 featured image

FlashAttention 原理与工程实现解析

深入解析 FlashAttention 的数学原理与 CUDA 工程实现,以及在大规模模型训练中的实际加速效果。