ai 萝莉 声网刘斌：“Her”信得过落地结束离不开RTE才气的支握

大模子正在篡改及时互动本事ai 萝莉。

声网当作全球音视频本事龙头，2020 年在纳斯达克上市，当今是全球最大的及时互动云管事商，平台单月音视频使用时长达 700 亿分钟。

同期，声网手足公司 Agora 亦然 OpenAI Realtime API 的谐和伙伴，在国内声网也与 MiniMax 正在打磨国内首个 Realtime API。

在 MEET 2025 智能异日大会大会现场，声网首席运营官刘斌共享了一个看似离大模子有点距离，实则却不行或缺的身手：

RTE（Real Time Engagement）在 AI Agent 时间的全新价值。

为了圆善体现刘斌的想考，在不篡改快乐的基础上，量子位对演讲内容进行了剪辑整理，但愿能给你带来更多启发。

MEET 2025 智能异日大会是由量子位足下的行业峰会，20 余位产业代表与会商讨。线下参会不雅众 1000+，线上直播不雅众 320 万 +，得到了主流媒体的鄙俚眷注与报谈。

中枢不雅点

多模态对话体验的两个要道：延伸是否低于 1.7 秒，能否打断

多模态对话 AI Agent 欺诈居品化落地的要道：端到端、全球大肆地点、弱网环境、多样末端下的低时延

不管是语音 ， 照旧视频 ， 只若是多模态有交互的 AI Agent 欺诈 ， 离不开 RTE 才气的支握

演讲全文

今天尽头欢畅有这么契机来到现场跟共享，声网当作 RTE 规模的企业，和 AI 规模的大模子与欺诈厂商，和当下的大模子联系是什么，RTE 演进如何助力 AI Agent 欺诈落地。

第一，声网到底是谁。

声网于 2020 年在纳斯达克上市，专注于提供及时互动云管事。经过多年的发展，该公司在该行业取得了一定的跳跃。

咱们公司的标语野蛮明了，即让及时互动像空气和水相似，无处不在。

这一理念旨在结束异日不管身处何地，齐能得到如同濒临面般的互动体验。经过多年的奋勉，咱们在市集占有率方面位居第一，并领有大量注册开发者欺诈。

单月音视频分钟数约为 700 亿，这意味着每天在咱们平台上的分钟数约为 20 多亿。在这种情况下，全球荒芜 60% 的泛文娱欺诈聘任声网当作其谐和伙伴。咱们触及的规模包括泛文娱、辅导和物联网等，均领有相应的谐和伙伴。

第二ai 萝莉，咱们作念的事到底和 AI Agent 有什么联系，如何去助力它。

最初，值得眷注的是，OpenAI 于 10 月 1 日在官方网站发布 Realtime API 时，曾在谐和伙伴中说起 Agora，即咱们声网的手足公司。

其次，在 10 月份的 RTE 大会上，咱们文书与 MiniMax 正在打磨国内第一个 Realtime APl。

第三，AI Agent 时间到底如何样作念才能作念的更好。

咱们不错不雅察到，在信得过多模态模子推出或对话时，相较于原先的纯文本交互，一经发生了变化。

原先的交互实质上是异步的，即我不错发送信息，说完后恭候措置并复返终止。但是，在信得过多模态交互中，要务及时性和双工性，即我说他听，他听完后我再听。

在这个历程中，有几个要道成分会影响效果。

最初，环球较为熟练的口吻、激情、激情和口音等成分在模子中得到了大量措置。

其次，延伸亦然一个尽头首要的成分。驯服环球齐有接洽的感受。

从践诺测量数据来看，信得过达到实用效果的延伸一般在 1.7 秒傍边。如果低于这个值，东谈主们会认为与 Agent 沟通很当然；而如果延伸达到 2 秒多或 3 秒，东谈主们就会嗅觉到有些卡顿，响应稍显平缓。这是一个尽头首要的要道点。

另一个要道点是，能否结束打断功能以及如何更好地进行主动交互。

要结束这些功能，除了模子才气外，还需洽商欺诈的落地点法。是在实验室的 PC 上进行演示，照旧将其欺诈于多样手机末端、物联网末端以过甚他开垦上？

当有此需求时，在居品化落地的历程中会发现，除了之前提到的低时延等才气外，还需要在端到端齐能结束。此外，还需在不同地点、不同网罗环境下以及多样末端开垦上齐能得到支握，这并非易事。

对于这张图，尽管环球可能不太眷注，但咱们其时尽头醉心。这是 5 月份 OpenAI GPT-4o 发布时的情况，环球不错看那根网线，这是要保证网罗的巩固性。

在 4o 发布之后，环球齐在恭候 API 的推出，原来预期一周或两周内会推出，但践诺上并非如斯，直至 10 月份才发布。原因在于，一开动环球认为这件事很简便，只需对原有的 RTP Server 进行修改，将文本传输改为语音传输即可。

但是，践诺情况并非如斯简便。咱们与他们谐和，直至 10 月份才崇敬推出。恰是咱们在其中推崇作用，使其信得过落地结束。

在此，我向环球展示声网多年来的工监犯果。

最初，咱们领有一张遍布全球的 SD-RTN 网罗，确保在这张网罗上音视频传输齐能在圭臬的 400 毫秒内端到端到达，这是网罗支握。其次，咱们多年的积蓄使咱们好像在 30 多个平台的框架和 30000 多末端机型上提供 SDK 支握，涵盖多样操作系统。您只需很快地树立这个才气。包括物联网的多样开垦末端，齐有相应的 SDK。

此外，在践诺欺诈中，如咱们在这个会场，如果我要与 AI 对话，网罗情况和环境噪声并非固定不变。如安在极点弱网下保证效果，这亦然咱们多年本事积蓄的终止。

恰是咱们在这一规模的深厚积蓄，使得咱们好像构建一个具有践诺欺诈价值的 Voice 对话 Agent。惟一将这两者雅致聚会，才能结束这一倡导。这也施展注解了为什么在发布 Realtime API 时，咱们需要寻找这么的谐和伙伴共同鼓动。

咱们还发现，现存的 RTC 本事栈和基础设施存在大量改造空间。惟一通过改造，大型模子才有可能在多样场景、形态和模子下大限度参与到东谈主类的讲话对话中，其参与开头也将从云表扩张到末端，再到更低延伸的边际。基于这些才气的改造和普及，异日 RTE 必将成为生成式 AI 时间 AI 基础设施（AI Infra）的要道构成部分。

如图右侧红色部分所示，Realtime API 络续由大型模子厂商发布。但是，在左侧这一圈，包括中间的网罗和声网的 Linux Server SDK，以及前端的 SDK，如果莫得这么的基础，咱们将很难结束这一整套效果。这恰是我之前所施展注解的原因。如果中间的这些身手未能结束，那么效果将无法骄气。

在此，咱们将从面前视角启航，探讨异日的行动标的以及如何进一步提高效果。近期，咱们一直在潜入计划和进入资源，以优化东谈主与东谈主之间的对话体验。但是，在东谈主与模子之间的对话中，体验的提高需要充分洽商模子的特质。

举例，咱们从传统的 QoS、QoE 发展到如今的 AI QoE，乃至多模态 AI QoE，这其中涵盖了 VAD 本事、杂音摈斥才气以及接洽网罗优化等方面。这些新的步履和方法使得咱们与模子的对话愈加逼近践诺情况。以一个简便的例子来施展，东谈主与东谈主交谈时不会混杂其他信息，但东谈主与模子对话时则可能不同，语音传输历程中可能还包含其他信息。因此，在弱网环境和欺诈场景中如何结束精真金不怕火适配，便显得尤为首要。

咱们曾在 RTE 大会上展示过一个实例，其时的会场限度较大，东谈主数繁密且环境嘈杂，咱们在现场使用了一个 5G 开垦进行演示。

咱们想作念到的是从 60 分提高到 90 分，这不仅触及模子难度的提高，还包括附进工程配套的完善，以便将居品从演示阶段发展为更具实用性的欺诈。

对于声网的居品体系，咱们正不断加强其功能，如 Linux SDK、AI VAD 才气以及 AI Agent Service 的补充与优化。通过声网 RTE+AI 才气全景图，咱们不错看到咱们的全体想路，包括从基础设施到 Agent，再到场景的演进，旨在成为生成式 AI 时间的 AI 基础设施，这亦然咱们的愿景。

临了，我想强调少许：

任何触及大模子多模态及时交互的欺诈，不管是语音照旧视频，只须存在多模态交互，这类 Agent 欺诈的落地齐离不开 RTC 本事的支握。

在这种情况下，如果环球有这么的需求，请来找声网，咱们一定给环球更好的体验。

谢谢环球，今天就到这里。

—  完  —

点这里� � 眷注我，牢记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日邂逅 ~