为什么视频直播的延迟越来越低?

近年来,现场直播技术逐渐成熟,小编已经可以给海外直播的小偶像演唱会打call应援了,而这都离不开“超高清浅压缩”的帮助。这技术一看就是处理视频的,那么它到底有何

“超高清”很容易理解。简单来说就是视频画面清晰度高,分辨率达到4K甚至8K。

那么这里的“浅压缩”是什么意思呢?让我们从视频的一些基本概念开始。

视频的一些基本概念

视频本质上是快速连续播放独立画面,利用眼睛的视觉暂留效应来营造“运动”感。

视频中的每张图片称为“帧”,每秒播放的图片数量称为“帧率”。单位是FPS,即每秒帧数。一般来说,如果眼睛看到的画面帧率高于每秒10到12帧左右,就会被认为是连贯的。

为了获得更细腻的效果,电影制作中常用24FPS、25FPS、30FPS等帧率。更高的帧速率(例如60FPS 和120FPS)用于录制慢动作播放的视频。

每秒必须连续播放如此多的图像。视频的尺寸一般比图片大很多,流畅在线播放占用的带宽也大很多。

如果不做任何处理,理论上在线播放分辨率为4K、帧率为30FPS的视频,需要的带宽接近6Gbps。

这简直就是流量贪吃者。短距离有线传输还是可以的,但是无线传输就太难了。即使它像5G一样强大,但它仍然是有限的。

因此,我们需要对视频进行压缩。

为什么视频直播的延迟越来越低?

视频深度压缩

为什么视频可以压缩?这是因为每一帧内以及多帧之间都存在大量的冗余信息。

首先,在每一帧中,图像中相邻像素的颜色相关性很强,纹理很可能连续变化,背景也可能有大量重复的颜色。如果使用适当的算法,可以消除冗余并压缩数据量。

那么,在多帧之间,如果没有场景切换,相邻帧之间的图像大部分都会是相同的:例如,一只蝴蝶在花间飞舞。除了蝴蝶的姿势发生变化外,多帧之间的图像的其余部分将是相同的。不变,数据自然可以被压缩。

因此,视频压缩有两种方法:“帧内预测压缩”和“帧间预测压缩”。将视频分解为多个像素块,然后将当前帧和前后帧的内容组合起来进行压缩。帧内预测的主要思想是,图片纹理是连续的,存在大量的“空间冗余”,因此可以利用相邻的解码像素来预测未知像素。实际编码时,只对原始块减去预测块后剩余的残差块进行操作,从而可以有效减少数据量。

帧间预测的主要思想是:由于相邻帧之间存在很强的相关性,并且存在大量的“时间冗余”,那么只需要找到当前块在参考帧中的位置,计算出相应的位移并获得两帧之间的残差,然后只发送数据量较小的残差帧。

这样,压缩算法将视频内容编码为I帧和P帧。 I帧作为关键帧,必须能够完全独立解码,因此只能采用帧内预测; P帧作为预测帧,仅反映前一个I帧的变化,可以使用帧内预测或帧间预测,但没有I帧就无法解码。

除了I帧和P帧之外,还有B帧(双向帧)。 B帧的编码和解码可以同时参考左右帧,需要传输的数据量更小。

由于视频内容是连续的,时域上的相关性往往较大,所以一般来说,帧间预测的压缩效率较高,因此P/B帧一般比I帧小很多。

这种帧内预测压缩和帧间预测压缩双管齐下的方法非常有效。它可以将原始视频压缩到很小的尺寸,而基本不会损失图像质量,因此也称为“深度压缩”。

为什么视频直播的延迟越来越低?

以目前主流的压缩编码标准H.264为例,一段1080P分辨率、60FPS的视频,经过压缩编码后,只需要4Mbps的网络带宽,就可以在手机上有良好的体验。

深度压缩的缺点

然而,一切都有两个方面。深度压缩的成本是多少?

最容易想到的就是:直播的播放延迟。

前面提到,P帧和B帧的解码需要依赖其他帧。当终端观看直播时,接入时间点很可能是无法独立解码的预测帧。那么播放程序必须等到关键帧。正常解码播放难免会出现延迟。

想象一下,如果两个I帧之间的间隔设置为2秒,那么如果运气不好的话,连接直播后可能要等2秒才能看到画面。

上述播放的访问延迟实际上是一个小问题,但深度压缩对视频制作和播出的影响是不可接受的。

众所周知,在视频制作和播出过程中,广播电台的作用非常关键。转播台的主要功能是整合多个摄像机的视频信号,并根据现场需要进行实时切换。

我们重点关注上图的左侧。假设在春晚舞台上,某艺人正在高亢歌唱,多台摄像机从不同角度拍摄画面并发回广播电台进行制作播出处理,如切换、分屏、叠加等元素等

然而,由于这些视频流使用了深度压缩,很可能当主播将直播从摄像机1切换到摄像机2时,他正好赶上了无法解码的非关键帧。这对所有观众的屏幕都有好处。全部卡住了。

为什么视频直播的延迟越来越低?

因此,在这种情况下使用深度压缩是不合适的。另外,摄像机到广播电台的距离一般不远,只需采用超大带宽的有线传输即可。不需要节省带宽,自然也不需要如此极端的压缩。使用“浅压缩”技术就足够了。

为什么需要浅压缩

所谓浅压缩,实际上就是舍弃会产生P帧或B帧的帧间预测编码,而全部采用帧内预测编码。这样生成的视频全部都是I帧,每一帧都可以完全独立解码。虽然视频数据量大大增加,但深度压缩的缺点也消除了。

既然浅压缩技术如此顺理成章,为什么会在春晚直播时引起轰动呢?

这是因为5G的引入。

传统拍摄使用固定摄像机位置或通过电缆移动摄像机位置。这是因为传输浅压缩视频需要很大的带宽。如果压缩率为1/8,4K视频每路也需要1Gbps带宽,延迟更低,普通无线方式很难满足。

但5G可以。 5G-A构建的视频制播专用网络可以实现10Gbps以上的带宽,自然可以实现“5G超高清浅压缩制播”。由于低延迟,无线摄像头和有线摄像头拍摄的图像也可以实现丝般平滑的混合。

最后我们来总结一下。

浅层压缩主要用于显示接口和专业视频制作和广播。通道带宽非常充裕,要求无损画质和低时延。压缩率一般为1/8。普通用户一般无法接触到浅层压缩,因此称为ToB压缩。

深度压缩主要是面向用户的,所以也称为ToC压缩。视频制作完成并由广播电台播出后,经过深度压缩后进行分发。压缩率可以达到1/200甚至1/500。这样不仅可以最大程度地节省传输带宽,而且观众观看起来也会流畅。

用户评论

为什么视频直播的延迟越来越低?
大王派我来巡山!

哎呀,最近视频直播的延迟真的低了很多,感觉看直播的时候更顺畅了,再也不用担心错过精彩瞬间了。

    有14位网友表示赞同!

为什么视频直播的延迟越来越低?
暮光薄凉

确实啊,延迟低了好多了,以前看直播总是卡顿,现在基本没这种感觉了,体验简直提升了不止一个档次。

    有10位网友表示赞同!

为什么视频直播的延迟越来越低?
今非昔比'

哈哈,延迟低确实不错,但是有时候觉得太低反而没有那种紧张刺激的感觉了。

    有6位网友表示赞同!

为什么视频直播的延迟越来越低?
淡抹烟熏妆丶

为什么延迟越来越低啊?我猜是不是因为技术进步了?感觉现在直播界竞争挺激烈的。

    有13位网友表示赞同!

为什么视频直播的延迟越来越低?
忘故

延迟低了好,毕竟谁也不想看直播的时候遇到卡顿,特别是看游戏直播的时候。

    有17位网友表示赞同!

为什么视频直播的延迟越来越低?
裸睡の鱼

低延迟确实好,但是会不会对主播的设备要求更高了?毕竟传输速度更快了。

    有17位网友表示赞同!

为什么视频直播的延迟越来越低?
何必锁我心

我觉得延迟低是好事,毕竟现在大家都很忙,谁也不想花时间等直播缓冲。

    有16位网友表示赞同!

为什么视频直播的延迟越来越低?
Hello爱情风

延迟低是好事,但是有时候也觉得这样直播的互动性可能不如以前了。

    有19位网友表示赞同!

为什么视频直播的延迟越来越低?
玻璃渣子

为什么直播的延迟越来越低?我猜是因为直播平台都在追求用户体验吧。

    有17位网友表示赞同!

为什么视频直播的延迟越来越低?
孤败

延迟低了好,但是我也担心这样会不会影响直播内容的真实性。

    有9位网友表示赞同!

为什么视频直播的延迟越来越低?
疲倦了

低延迟确实不错,但是有时候也觉得这样对网络环境的要求更高了。

    有18位网友表示赞同!

为什么视频直播的延迟越来越低?
青袂婉约

为什么直播延迟越来越低?难道是直播平台为了盈利在讨好用户?

    有9位网友表示赞同!

为什么视频直播的延迟越来越低?
陌然淺笑

延迟低了好,不过我还是喜欢看那些有技术含量的直播,即使有时候会有点卡。

    有10位网友表示赞同!

为什么视频直播的延迟越来越低?
颜洛殇

为什么视频直播的延迟越来越低?我觉得这是科技进步的体现,也让我们的生活更加便捷。

    有10位网友表示赞同!

为什么视频直播的延迟越来越低?
淡淡の清香

低延迟是好事,但是有时候也觉得这样直播的内容可能没有以前那么有深度。

    有8位网友表示赞同!

为什么视频直播的延迟越来越低?
短发

延迟低了好,不过我还是更喜欢那种有温度的直播,即使有时候会有点卡。

    有14位网友表示赞同!

为什么视频直播的延迟越来越低?
减肥伤身#

为什么直播的延迟越来越低?我猜是因为现在的人都喜欢看直播,平台为了留住用户。

    有14位网友表示赞同!

为什么视频直播的延迟越来越低?
▼遗忘那段似水年华

延迟低确实好,但是我还是希望直播内容能更加丰富多样,而不仅仅是追求低延迟。

    有18位网友表示赞同!

综合资源

直播中几秒的延迟从何而来?

2024-11-8 9:07:42

综合资源

如何打造低延时的直播体验,让互动更加实时?

2024-11-8 9:09:44

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索