近日，网络空间安全学院师生在实时人工智能与大模型推理系统方向取得重要突破，研究成果“TiMoE: Timing-Predictable Inference System for MoE Large Language Models”被实时系统领域国际顶级会议RTSS 2026（IEEE Real-Time Systems Symposium）接收。论文第一作者为kaiyun官网入口网络空间安全学院博士生肖上上，通讯作者为张伟教授。

混合专家大语言模型（Mixture-of-Experts Large Language Models，MoE LLMs）通过为每个token动态激活少量专家，在扩大模型容量的同时降低推理开销，适合部署于资源受限的边缘平台。然而，专家激活随输入和生成过程动态变化，不同专家的执行开销也存在差异；并发请求还会改变每轮实际执行的专家集合，导致token生成时延明显波动。现有推理系统主要面向吞吐量和平均延迟进行优化，难以满足自动驾驶、具身智能等关键应用对实时性与时延稳定性的要求。

针对上述问题，团队提出了一种面向MoE大模型的时延可预测推理系统TiMoE。该系统利用token生成的上下文关联，动态预测专家激活、输出长度和token执行时延，并根据系统负载实施截止期限感知调度，联合调整专家激活、请求准入和批处理配置。同时，系统通过优先复用并发请求中的热点专家，减少专家执行及资源竞争带来的不确定开销。团队将TiMoE集成至业界常用大模型推理框架，并在主流模型开展实验。实验结果表明，在系统达到最大可持续吞吐量时，TiMoE在单请求和多请求场景下分别将时限满足率平均提高24%和41%，模型能力平均下降低于2.5%，同时实现了系统吞吐量的小幅提升。

RTSS是由国际电气与电子工程师协会IEEE主办的实时系统领域旗舰会议，被中国计算机学会（CCF）评为A类会议。该会议长期聚焦实时系统理论、时间分析调度算法、体系结构及实时人工智能等前沿问题，代表了实时系统研究的国际最高水平。本届会议共收到350篇有效投稿，并仅接收50篇，此次论文的接收是学校连续第二年在RTSS发表研究成果。