FlashAttention

FlashAttention

FlashAttention 原理与工程实现解析

深入解析 FlashAttention 的数学原理与 CUDA 工程实现，以及在大规模模型训练中的实际加速效果。

Read more
LLM底层架构 — 手撕 FlashAttention featured image
LLM

LLM底层架构 — 手撕 FlashAttention

FlashAttention 深度剖析：tiling、recomputation、kernel fusion 与显存优化策略的完整实现推导。

Read more