AIDC
DC AI 热点

全部 AI 动态

9月25日2026-09-25
arXiv 机器学习✦ 精选AI 评分 68/10012:00

SMILESGNN:基于SMILES与图跨注意力融合的可解释临床药物毒性预测模型

针对药物研发中毒性预测面临的样本严重失衡、骨架泛化差以及缺乏临床可解释性等难题,研究人员提出了多模态网络架构 SMILESGNN。该模型通过交叉注意力机制,融合了 SMILES Transformer 编码器与 GATv2 图编码器,弥补了单一序列模型无法提供图归因解释的缺陷。此外,研究还推出了预训练变体 SMILESGNN-PT,有效提升了分子表征的泛化性能与临床解释能力。

阅读原文 ↗推荐理由:提出了一种融合文本序列与分子图的多模态注意力架构,为药物毒性预测提供了兼具高精度与可解释性的新方法。# 医疗AI# 多模态# 图神经网络# Transformer# 可解释性
arXiv 机器学习✦ 精选AI 评分 68/10012:00

基于电子先验与响应态学习的可迁移振动光谱表征研究

针对振动光谱预测在跨化学空间场景下易受局部立体电子环境扰动而导致精度下降的问题,研究提出 SO(3) 等变神经卡尔曼网络(SENK)。该框架构建了响应态级联结构,融合了用于学习 Hessian 矩阵、偶极导数及极化率导数的等变 Transformer 骨干网络,通过等变神经卡尔曼桥实现状态依赖精炼与可靠性感知,并结合 NBO 电子先验以提升光谱表征的可迁移性。

阅读原文 ↗推荐理由:提出结合电子先验与等变神经网络的新架构,解决了分子振动光谱预测中的跨空间迁移与精度难题。# AI for Science# 等变神经网络# Transformer# 光谱预测# 分子表征
9月24日2026-09-24
arXiv 自然语言处理✦ 精选AI 评分 78/10012:00

Transformer语言模型的序列计算蒸馏方法

针对Transformer语言模型在自回归生成中长上下文计算开销大的问题,研究人员提出了一种序列计算蒸馏方法。该方法观察到许多相邻Token片段具有高度可预测性或常作为稳定单元出现,因而具备可压缩性。研究设计了一个轻量级合并模块,可动态将输入的多个Token片段替换为单个折叠表征,利用该替代嵌入捕捉原多Token序列的功能角色,从而减少序列计算开销并提升处理效率。

阅读原文 ↗推荐理由:提出了一种动态压缩Token序列以减少Transformer自回归计算开销的高效架构优化方案。# Transformer# 模型压缩# 序列计算# 注意力机制# AI架构
arXiv 人工智能✦ 精选AI 评分 68/10012:00

基于Transformer的OpenXR实时手势识别系统

该研究针对人机交互、虚拟现实及机器人等应用场景,提出了一种基于Transformer架构的实时手势识别系统。研究团队利用Unity中通过OpenXR标准捕获的手部追踪数据,结合手部关节位置与手腕旋转角度信息进行模型训练。依托Transformer出色的序列建模能力,该系统能够有效捕捉短手势中的时序依赖关系,从而实现高精度的实时手势识别与交互。

阅读原文 ↗推荐理由:结合OpenXR标准与Transformer序列建模技术,推进了VR与人机交互中的实时手势识别落地。# 手势识别# OpenXR# Transformer# 虚拟现实# 人机交互
arXiv 机器学习✦ 精选AI 评分 72/10012:00

序列推荐系统时序归因可解释方法系统基准测试

序列推荐系统通过用户历史交互序列驱动下一步决策,是现代个性化服务的核心。基于CNN和Transformer的深度学习架构虽能有效捕获时序依赖,但其非线性特征导致模型沦为黑盒。为了提升模型透明度与信任度,帮助开发者审查模型行为并为用户提供推荐依据,该研究针对序列推荐系统中的时序归因可解释性方法展开系统化基准评估(注:原论文摘要结尾存在截断,具体评估结果详见完整论文)。

阅读原文 ↗推荐理由:针对黑盒序列推荐模型建立了时序归因可解释性基准,对提升推荐算法的可解释性与透明度具有参考价值。# 序列推荐# 可解释AI# 时序归因# Transformer# 评测
arXiv 人工智能✦ 精选AI 评分 68/10012:00

研究揭示Transformer注意力头数对序列有序性判断的表达能力界限

该研究探讨了Transformer架构在序列排序判断任务中的表达能力。论文证明,判断一个比特序列是否处于有序状态的任务无法由单头单层(1-head 1-layer)Transformer完成,但可以通过双头单层(2-head 1-layer)Transformer实现。与以往同类理论成果不同的是,该研究的结论建立在模型包含输出多层感知机(MLP)的架构设定之下。

阅读原文 ↗推荐理由:该论文从理论上严格证明了注意力头数量对基础逻辑任务的影响,推进了带MLP的Transformer模型表达能力边界研究。# Transformer# 表达能力# 注意力机制# 理论研究# 模型架构