OpenArch:现代大模型架构的简洁 PyTorch 实现合集
OpenArch – PyTorch implementations of modern LLM architectures
这个仓库以单文件形式复现主流 LLM 架构,把容易混淆的结构选择摆在台面,方便并排对比。覆盖 MHA/GQA/MQA/MLA、滑动窗口、线性注意力、RoPE 系列、密集与稀疏 MoE 混合、MTP 等变体。官方仓库常为速度与分布式优化牺牲可读性,本项目正好补足教学与研究场景。
为什么读想快速吃透不同 LLM 架构差异时,这种「一文件一架构」的对照式实现比读官方仓库更省时。
带着问题读仓库中各架构的实测训练吞吐和显存占用是否接近官方实现?