Skip to content

remaper

成功,源于对美学的执著追求

  • About Me
  • Friend blogs

日期: 2024 年 9 月 10 日

HyperAttention: Long-context Attention in Near-Linear Time

Posted on 2024年9月10日2024年12月6日 by remaper in LLM 推理

https://yiyibooks.cn/arxiv/2310.05869v3/index.html

经验上,HyperAttention 表明了显著的加速,在n=131k 的序列长度的正向和反向传播中实现了超过50×的加速。在处理因果掩码时,该方法仍然提供了实质性的5×加速。


2024 年 9 月
一 二 三 四 五 六 日
 1
2345678
9101112131415
16171819202122
23242526272829
30  
« 6 月   12 月 »
  • AI – 工程 (19)
    • LLM 推理 (10)
    • LLM 训练 (2)
    • 混部虚拟化 (4)
    • 通讯优化 (3)
  • AI – 算法 (29)
    • 数学基础 (8)
    • 机器学习 (8)
      • 无监督学习 (2)
      • 监督学习 (4)
    • 神经网络 (11)
  • 基础技术 (36)
    • eBPF & ftrace (2)
    • Linux 内核 (15)
      • 内存管理 (6)
      • 文件系统 (3)
      • 进程调度 (6)
    • 性能分析 (3)
    • 编译器 (16)
      • 深入浅出 tvm (15)
  • 数据中心 & 云计算 (32)
    • 内存池化 (5)
    • 分布式系统 (1)
    • 混部技术 (10)
    • 虚拟化技术 (14)
      • Kata & Firecracker (3)
      • 容器核心技术 (11)
  • 随笔 (21)
Powered by WordPress | Theme: Askella by Matthias Danzinger