搜索结果：attention（8 个）
按分类缩小范围
RWKV-LM
商机 72
兼具出色 LLM 性能的 RNN 架构，支持像 Transformer 一样并行训练，融合二者优势。
OpenMythos
商机 67
基于公开研究文献与第一性原理，对 Claude Mythos 架构进行的理论性重构项目。
Qwen
商机 64
阿里云开源的通义千问（Qwen）预训练与对话大语言模型官方代码仓库。
vit-pytorch
商机 64
Vision Transformer（ViT）的 PyTorch 简洁实现，用于图像分类任务。
使用 PyTorch 从零开始、循序渐进实现类似 ChatGPT 的大语言模型教程。
kimi-k3-in-c
商机 64
纯 C99 实现的 Kimi K3 推理，无需 GPU、BLAS 或任何框架，单 CPU 和 8.24 GB 内存即可运行。
flash-attention
商机 60
快速且节省显存的精确注意力（Exact Attention）计算机制实现。
多种注意力机制、MLP、重参数化及卷积的 PyTorch 实现，辅助理解学术论文。