
在和 AI 助手语音聊天时,你很可能经历过这样的时刻:
你还没说完,它已经开始回答;你只是随口应了一声「嗯」,它却突然停下,以为你要打断;中途聊了一个新话题再让它「接着刚才的说」,它却忘了自己讲到哪里……
这是因为许多语音 AI 仍然遵循着一种近似「半双工」的交互模式:你说完,它再说,双方轮流发言,听和说很难真正并行。
但真实的人类对话显然不是这样。在真实世界中,交流是连续、动态且充满情境信息的。人们会随时停顿、插话、改变主意,也会在交流过程中不断接收来自周围环境的信息。AI 要真正融入这样的场景,需要持续感知环境、理解用户意图与对话状态,并在恰当的时机作出回应。
今天,我们正式发布 MOSS-Live 全双工实时交互系统。
MOSS-Live 能够在说话的同时持续倾听,实时理解用户的对话意图与交流节奏,判断何时回应、何时等待、何时保持沉默。同时,它还具备持续的多模态感知能力,支持视频通话、屏幕共享与环境声音理解,并能在实时对话中调用工具、异步执行复杂任务,让 AI 真正实现边看、边听、边聊、边做事。
为了兼顾实时交互的低延迟要求与复杂任务的处理能力,MOSS-Live 采用前后台协同架构:前台交互模型负责持续感知、理解和语音交流,后台模型负责复杂推理与长程任务执行。两者通过记忆、上下文和任务状态管理协同,使实时对话与复杂任务能够并行开展,在保持交互流畅性的同时,兼顾深度推理与任务执行能力。
目前,MOSS-Live 已正式开放 API 接入,限时免费!你也可以在模思智能官网直接体验。
API 接入与体验:https://platform.moss.cn
模思智能官网:https://www.moss.cn
什么是全双工?
「全双工」原本是一个通信术语,指通信双方可以同时进行双向数据传输。
简单来说,电话是全双工的,双方可以同时听、同时说;而对讲机是半双工的,同一时刻只有一方能讲话。
而真正自然的全双工语音交互,AI 不仅要能边听边说,还需要在持续倾听的过程中,实时理解语义、说话意图和对话状态,判断何时回应、何时等待、何时接受打断、何时保持沉默。
这也是 MOSS-Live 致力于解决的核心问题:让 AI 更自然、更智能、更主动地参与实时交流。
技术架构:让实时对话与复杂任务并行
MOSS-Live 采用前后台协同架构,将实时交互与复杂任务执行交由不同模型分工处理,并通过记忆、上下文和任务状态管理实现协同,使系统能够在持续对话的同时,异步执行复杂任务。
前台交互模型负责实时交互:持续接收语音、画面及环境声音,理解当前对话状态,并决定何时倾听、何时回应、何时等待。
后台模型负责复杂推理与长程任务执行:当用户提出需要更深度思考或长程复杂任务的请求,前台可以将任务连同对话上下文交给后台模型,由后台异步执行。在此期间,前台仍然可以继续与用户交流,而不必等待后台任务完成。
两者通过记忆、上下文和任务状态管理保持协同:前台可以掌握后台任务的进展,并在合适的时机将结果带回对话。随着用户不断提供新的语音、画面和环境信息,交互过程也可以相应调整。
多项全双工交互指标表现领先
为了全面评估 MOSS-Live 的实时交互能力,我们在 Full-Duplex-Bench(FDB)、τ-Voice、Big-Bench Audio 等基准测试中,与 GPT Realtime 2.1、GPT-Live-1、Doubao SeedDuplex、Qwen Audio 3.0 等模型进行了对比,覆盖全双工交互、语音理解、多轮对话及工具调用等关键维度。
在 FDB 系列测试中,MOSS-Live 展现出较强的对话节奏控制与无关声音拒识能力。其中,停顿抢话率仅为 1.44%,无关语音误接话率低至 2%,无关打断拒识率达到 68%,均为参评模型中的最佳表现。
在 τ-Voice 测试中,MOSS-Live 的附和抗干扰率达到 98.17%,口头语抗干扰率达到 82.16%,无关语音抗干扰率达到 78.90%,三项指标均领先于其他参评模型。这意味着 MOSS-Live 能够更准确地区分有效打断与无关声音,减少因停顿、附和或环境干扰造成的交互中断。
在 FDB v1 的打断后回答质量指标上,MOSS-Live 获得 4.88 分(满分 5 分);在 FDB v2 涵盖实体跟踪、纠错与安全的综合指标上,得分为 3.63 分(满分 5 分),两项均为本次对比中的最高分。
在工具调用和多轮任务成功率这两项测试中,MOSS-Live 的成绩也位居前列。在 FDB v3 工具调用评测中,MOSS-Live 的成功率为 51%,和 Doubao SeedDuplex 并列最高,在 τ-Voice 的多轮任务评测中,MOSS-Live 的成功率为 57.93%,仅次于 GPT-Live-1。
真实场景 Demo:MOSS-Live 如何参与你的生活?
为了更直观地呈现 MOSS-Live 在实际应用中的交互表现,我们选取了四个具有代表性的场景,以展示 MOSS-Live 在全双工对话、多人讨论及复杂任务执行等方面的综合能力。
会议室里的 AI 参会者
在一场会议上,MOSS-Live 作为 AI 参会者接入,被打断后也能根据新增的对话信息调整调查范围,并在查询完成后主动加入讨论。有人随口附和时,MOSS-Live 并未中断发言;当另一位同事提出新的问题时,它又能及时停下并作出回应。几轮讨论后,有人重新问起先前提到的杭州活动,它依然能准确接续上下文。会议结束时,MOSS-Live 根据讨论内容整理出初步结论和后续待办事项。
开车途中的 AI 助理
在开车途中,用户让 MOSS-Live 帮忙规划一次自驾游。过程中用户又临时改变主意,MOSS-Live 随即调整行程,并在后台继续查询酒店。随后,用户多次打断,穿插询问船票、停车费用和住宿选择。即使话题反复切换,当用户需要时,MOSS-Live 仍能从之前中断的位置继续介绍路线。期间,车载导航声音多次响起,MOSS-Live 均能识别为无关声音,并未中断回复。
让 AI 当个随身向导
一位外国游客让 MOSS-Live 规划上海游览路线。游客举起手机询问眼前的建筑,MOSS-Live 结合实时画面认出和平饭店,并介绍其历史。讲解过程中当游客打断,想了解酒店房价和餐饮选择时,它又能转而查询相关信息。等游客问起「刚才被打断前说到哪里了」,MOSS-Live 还能接着介绍,让讲解随着游客的兴趣自然展开。
从轮流说话,走向更自然的全模态实时交互
全模态实时交互代表了下一代 AI 交互的演进方向,模型不仅要同时「看见」和「听见」,还要在交互过程中持续感知、理解、表达与行动。围绕这一方向,MOSS-Live 将全双工对话、多模态感知、主动交互与任务执行能力相结合,探索更加自然、流畅的实时交互体验。
自然流畅的全双工对话
语义打断:准确区分附和与主动打断,不因简短回应而中断输出,并在用户明确打断时及时响应。
语义判停:基于语义理解判断用户是否完成表达,在句中停顿或思考时主动等待,避免过早接话。
区分说话对象与无关拒识:MOSS-Live 能区分哪些话是在对它说的,不会被旁人闲聊、自言自语及设备播放声音等无关声音误触发。
自然附和:根据表达内容与对话节奏,在适当时机主动给予简短回应。
断点续说与记忆:即便被多次打断和切换新话题,MOSS-Live 仍记得被打断时的发言位置与上下文,支持跨话题切换后的自然接续。
主动交互
MOSS-Live 还可以按照用户的要求,实现主动交互。比如,你可以让它在你背诵过程中及时纠错,或者让它在会议讨论中留意某些重要事项,并在合适的时机主动提醒。它能够持续关注对话内容,在满足特定条件时主动介入。
边聊边做事
除了实时对话,MOSS-Live 还能够实时调用工具、执行后台任务。MOSS-Live 在后台执行天气查询、股价查询、餐厅推荐、行程规划等任务时,前台仍可保持连续对话,它会在任务完成后主动反馈结果。
边听边译
MOSS-Live 支持流式同声传译,可以在持续接收源语言语音的同时,以接近真人同声传译的低延迟实时输出目标语言。即使说话者持续发言,翻译也能保持连贯,适用于跨语言交流、国际会议等场景。
不只能听,还能看
MOSS-Live 也支持视频通话与屏幕共享,能够结合画面信息理解场景并进行交互。同时具备非语言声音理解能力,可识别环境声音、感知说话者的音色等声学特征,实现融合视觉、语音与环境信息的多模态实时交互。
即刻体验 MOSS-Live
现在,MOSS-Live 已正式开放在线体验和 API 接入(限时免费)。
你可以在模思智能官网与 MOSS-Live 对话,也可以通过 API 集成到自己的产品和应用中。
(来源:模思智能)