ARCHIVE · 2026年9月22日
今日智讯全部归档
2026年9月22日 · LLM 整理
今日聚焦大模型高效推理、稀疏注意力、专家路由与多模态编码等方向，涵盖模型剪枝、长上下文解码优化、幻觉检测及小模型能力评估等研究，同时关注开源工具与产品进展。
模型 · Hugging Face
本文介绍一种将大模型块移除剪枝转化为伊辛优化问题的新方法。
站内阅读
开源 · Hugging Face
tokenizers v1 聚焦性能提升，编码解码与扩展能力较旧版快数十倍，避免GPU等待CPU分词，满足大规模训练与高并发推理需求。
研究 · arXiv cs.AI
本文提出RBS-Attention，一种无需训练的稀疏预填充方法，用于加速长上下文大语言模型推理。
本文提出注意力感知路由（AAR），在MoE语言模型中将路由与注意力机制耦合。
本文研究利用注意力图的拓扑特征检测大语言模型幻觉。
研究 · arXiv cs.LG
本文提出弹性阈值注意力（ETA），一种端到端可训练的长上下文解码稀疏化架构。
研究 · arXiv cs.CL
本文探索基于熵的置信度信号能否提升30亿参数以下小语言模型的准确性。
本文研究RydbergGPT——在里德伯原子阵列量子比特测量数据上训练的自回归transformer——的神经缩放规律。
综合 · Google AI
Google 发布 AI 社会影响力案例集，展示人工智能从理论研究转向可衡量的现实影响。