Daniel Liu's blog

Embodied-ai-in-healthcare 作者：@同济大学 刘越 Github ID：@miracle-techlink 联系邮箱：miracle.techlink@gmail.com 校内邮箱: 2254018@tongji.edu.cn

LLM底层架构---手撕flashattention1 作者：@同济大学 刘越 Github ID：@miracle-techlink 联系邮箱：miracle.techlink@gmail.com 校内邮箱: 2254018@tongji.edu.cn 引言 FlashAttention是近年来为优化自注意力机制（Self-Attention）而提出的一种高效算法，旨在解决传统注意力机制在大规模模型训练中的内存和计算瓶颈问题。其通过在硬件层面优化内存访问和计算策略，实现了显著的加速效果，尤其适用于大规模模型的训练。在其原始论文中（FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Aware Computation），作者提出了一种基于硬件友好的设计，使得计算过程中内存使用更加高效，从而加速了训练过程。FlashAttention 在保持精度的同时，显著降低了对 GPU 显存的需求和内存带宽的消耗。本文章参考了李理的博客（FlashAttention: 高效注意力机制的实现与优化），结合自己的理解，对 ...

AI+math|从Alphafold说起 引言 作者：@同济大学 刘越 Github ID：@miracle-techlink 联系邮箱：miracle.techlink@gmail.com 校内邮箱: 2254018@tongji.edu.cn 特别感谢以下组织和个人提供的帮助： Datawhale开源学习社区 （点击链接进入其github教程仓库） 集智俱乐部(https://pattern.swarma.org/user/116904) (点击链接进入官网) @同济大学数学科学学院陈小杨教授 （邮箱：xychen100@tongji.edu.cn） 2024年诺贝尔化学奖授予大卫·贝克（David Baker）、戴米斯·哈萨比斯（Demis Hassabis）和约翰·江珀（John M.Jumper），以表彰他们在蛋白质设计和蛋白质结构预测领域作出的贡献。他们与Deepmind公司在2020年发布的lphaFold2算法，在蛋白质结构预测领域取得了重大突破，其预测结果与实验结果高度一致，为生物科学领域带来了革命性的影响。我们今天就一起走进AlphaFold的世界，了解其背后的原 ...