bilibili.com

李沐:全双工 AI 问答助手学习笔记

1. 好的语音交互模型要过三关:像真人、真能干活、成本够低。

2. 第一代像流水线:先听你说完,再转文字,再想怎么回,再合成声音。每一步都要等,加起来一两秒,人一听就觉得慢。

3. 流水线还有个毛病:模块之间只传文字,声音里的语气、情绪、环境声全被扔掉,所以回话永远一个调,很机械。

4. 第二代把几段合成一个模型,中间直接传更丰富的原始信息,语气保住了,延迟降到零点七到零点九秒。代价是它还得等你说完才开口。

5. 第三代干脆把时间切成 0.16 秒一格。每格里,它一边处理你刚说的话,一边生成下一格要吐出来的声音。

6. 于是它能边听、边想、边说。你插话,它马上闭嘴重新组织;你还没说完,它已经猜到你要问什么,提前动手了。

7. 遇到难任务有三招:几个小时的思考拆成小块边说边想;查资料提前去查,不用等你说完;实在搞不定,才叫后台更强的大模型接手。

8. 这么高频地收和发最容易把成本烧穿,所以狠狠压:声音一秒只占几个 token,视频一秒看一眼,聊过五分钟就往文字里压缩。

9. 训练上先保留文字底子,再大量喂声音和画面,让它把音视频当母语;然后用强化学习练「什么时候该插话」;最后把几个各有所长的版本合成一个全能版。

10. 结果是它用 45B 的体量,打平了对手 276B 和更大的大厂模型。说明这个赛道拼的是数据和架构,比谁更大没那么管用。