如何打造低延时的直播体验，让互动更加实时？

QuestMobile《2020中国移动直播行业“战疫”专题报告》数据显示，疫情期间，看直播成为休闲娱乐、获取资讯、上课学习的主要方式，一些高度依赖线下场景的行

直播的爆发正在加速。除了各类网红外，国家博物馆、知名酒吧、景区等线下实体为网友提供线上博物馆游览、云娱乐、云旅游服务，吸引了大量年轻用户参与。直播不再是网络娱乐内容的生产工具，而是日益与商业业务场景融合，逐渐演变为基本的商业工具。

直播的时效性和互动性使其成为信息获取和互动交流的新媒介，但直播的实时互动效果够好吗？传统直播技术的延迟非常大。从观众评论到主播反馈通常需要5-10秒以上的时间。我们来看看几个典型的尴尬场景：

在线教育中，当学生提出问题时，老师会转到下一个知识点，然后再回来解答。电商直播，索要宝贝信息，主播“视而不见”。奖励结束后，我仍然听不到主人口头的感谢。当别人的喊声告诉你球已经进球时，你还在看直播吗？高延迟影响了直播的交互体验，阻碍了某些场景下直播的实施，尤其是电商直播。直播间的评论和提问是观众与主播互动的重要手段。主播的实时互动反馈影响着直播间的活跃度和交易。成就至关重要。

采用传统直播方案（rtmp流、FLV/RTMP/HLS播放），延迟在5-10秒左右。这些延误主要来自以下几个方面：

推流侧的缓冲区，这部分来自于图像从传感器模数转换为音视频编码并输出到网络的缓冲区。最重要的是编码时的延迟，这与推流软件的编码参数设置有关，比如是否有B帧、帧参考关系设置、压缩性能等。以OBS为例，当输出时设置如下图，延迟达到最小（1s以内）：不过上图中的配置在MAC和windows平台上效果不同。 mac平台的延迟是几百ms，而windows的延迟是50ms就可以做到（实际案例数据）。在直播网络方面，主播的直播网络一般都比较稳定，有的还有专线，所以质量也比较可靠。

阿里云低延时直播（Real-time Streaming）

如何打造低延时的直播体验，让互动更加实时？

传统的直播技术已经无法满足互动性要求更高的直播需求。为此，2019年阿里云与淘宝直播联合推出超低时延直播服务RTS（Real-time Streaming）。该方案基于WebRTC，采用UDP传输协议构建，实现可承载大规模并发且端到端时延在1秒以内的低时延直播体验。由于RTS服务部署在阿里云CDN节点上，CDN节点和网络资源得到复用，实现了接入成本、节点覆盖范围和承载能力的平衡。经过一年多的不断培训，整体经验和服务已经更加完善和成熟。

阿里云低延时直播技术架构：

从传输细节来看，如下图所示：

上图与现在直播系统的架构图没有太大区别。唯一的变化是客户端到CDN节点播放的链路由RTMP协议切换为RTP协议，并且TCP协议被UDP协议替代。 RTS服务进行了服务和节点的双重升级。同时对全链路直播指标进行监控和优化，通过智能调度系统、网络拥塞、抗弱网优化、缓冲策略等优化一系列底层核心技术，实现RTP over UDP公网抗丢包能力更强，播放器接收的码流质量比RTMP over TCP更稳定。这样玩家就可以减少缓冲，不需要像以前那样设置6s的缓冲来对抗。对于抖动，现在只需要设置为1秒左右，整体延迟就可以控制在1-1.5S左右。

如何接入RTS服务：

RTS目前提供两种接入服务： 1、基于WebRTC开放协议升级网络模块。对于开发自研播放器或使用开源播放器的用户，阿里云提供了与标准WebRTC协议的对接解决方案，为现有的直播业务增添了新的活力。 RTS推流域名，一种推流，两种拉流方式。无需修改流媒体端。仅升级播放器网络模块以拉取超低延迟流进行播放。这使得底层网络连接更加透明和开放，客户端可以独立控制。

如何打造低延时的直播体验，让互动更加实时？

上图是普通玩家的架构。播放器使用FFmpeg打开网络连接。读取到音视频帧后，会放入播放器缓冲区，然后进行解码、音视频同步、顺序渲染。

接入低延时直播系统后，整体架构如下图： FFmpeg增加了低延时直播插件，支持私有协议；播放器的缓冲区设置为1秒，FFmpeg输出的音视频帧直接送到解码器进行解码，然后同步、渲染。

此外，RTS Network SDK为玩家提供了接入阿里云低成本多协议、低延迟网络传输基础设施的接口。该SDK拥有非常友好的API，非常稳定的设计，并且在音视频同步、启动秒数、流畅度等指标上也做了很多优化。 API设计提供了ffmpeg demux插件，可以像调用其他ffmpeg demux插件一样集成到应用程序中。它还提供非ffmpeg 接口。

2.集成阿里云RTS播放器