可乐吨吨机LiveVideoStack2023061608:00发表于北京编者按：在线K歌的业务已经发展了十年，程乐在音视频领域也闯荡了十年，甚至更久。为什么选

编者按：网络卡拉OK事业已经发展了十年，程乐在音视频领域也已经摸爬滚打了十年，甚至更久。为什么选择在线卡拉OK领域？如何度过“漫长的季节”，迎来新的风景？如何在“网络卡拉OK”这块难啃的骨头上啃点肉？这一系列问题的背后，只有一个简单的答案：兴趣。以下为程乐账号——

01 兴趣决定了一切

大概是在中学的时候，我开始对音视频产生了浓厚的兴趣。从收音机、录音机、CD、VCD、DVD、MP3，到大学时期流行的MP4、平板电脑、相机等，基本上都是省吃俭用买的，我也经常为此和父母闹矛盾。矛盾。

成乐

上大学的时候，我有很多时间可以去闲逛。当时正是智能手机爆发之前，MP4 设备相当流行。那些年我基本上都是卖旧买新的。我一直关注最新的设备迭代，从仅支持单一480p Xvid 视频格式到720p。 rmvb，然后是1080p H264，甚至在其生命周期结束时（那是在2010 年之前）升级到4K。当时我在imp3论坛上也很活跃（现已关闭），讨论新芯片方案的解码性能以及各种编码格式的优缺点；

2018年11月，iMP3正式宣布关闭。

还参加各个厂家的评测促销，写评论，就可以半价买机器了。在当时论坛的影响下，我也开始玩耳机了。哪种耳机可以实现深沉的低音、准确的中音、甜美的高音、无损Ape Flac比WMA MP3好多少等等，都是研究的领域。

毕业后我的第二份工作是制作电视盒。虽然最后的结果不是很好，但当时的我却很少有忧虑，过着幸福纯粹的生活。那时我每天考虑的就是如何提高本地播放的兼容性，如何封装MP4/flv/mkv/ts格式，如何实现蓝光导航，如何解析渲染ASS/PGS特效字幕，以及如何适配各种硬件解码器。如何提高网络播放的稳定性等。

当时的情况就像一个认真的游戏玩家开始按照自己的意愿开发一款新游戏一样。从工作经验来看还是比较满意的。

后来，当移动直播和短视频开始兴起时，我利用自己积累的音视频经验开发了移动直播和短视频SDK。那个时候很多客户应该还在用。后来开始做实时语音聊天卡拉OK场景，也从乙方转到了甲方。

总而言之，我很幸运，毕业后一直在自己感兴趣的领域工作。回想起来，兴趣对于跨过音视频这个门槛是非常必要和有效的，所以我希望想进入这个行业的同学能够培养对音视频的兴趣。

02 在K歌赛道中，杀出一条血路

如何“玩”在线卡拉OK —— 专访日格音视频架构师程乐

现在我们来谈谈生意吧。我于2019年加入Framequ，然后开始接管公司的音视频相关技术以及整体卡拉OK体验。主要关注点是客户端部分。服务器端音视频能力大部分都是使用第三方服务，自己做的东西会比较少。

那么，与其他主要厂商相比，我们的技术优势是什么？

首先，我们拥有强大的业务团队，能够快速尝试各种新的富有想象力的玩法，而且对用户来说总是新鲜的。 Tiege在卡拉OK的玩法上也做了很多探索。比如最初的两人唱歌玩法和后来的多人唱歌玩法，都是在努力让社交变得更容易。

各种撕歌的玩法基本上都击中了年轻人的兴趣点。

熟悉Rige的人都知道Rige采用实时卡拉OK玩法。卡拉OK是一款社交破冰游戏。每个人都有一个共同的爱好，那就是唱歌，这样更容易打开话题，建立社交关系。有了社交关系，用户就会变得更加粘性。

其次是卡拉OK体验部分。与其他以业务为主的语音聊天应用相比，我们有专门的音视频团队，我们可以自己实现很多需求，让第三方没有我们就没用；此外，我们还逐步建立了一套主客观评价机制，可以促进第三方优化关注点，然后我们可以整合自身优势，灵活选择最佳供应商。

过去几年，各RTC厂商在泛娱乐卡拉OK场景上缺乏投入。我们的采集渲染方案在低延迟耳机、耳机兼容性、人声伴奏对齐等方面具有优势；我们也做了我们自己的AEC和歌唱评分。优化，但随着各公司加大资源投入，差距将会缩小。与AEC效应一样，第三方在过去两年中普遍取得了长足的进步。在这种情况下，我们最终会根据整体主客观评价结果进行调整。

踩坑、成长、一步一步来

主要技术难点是小团队会面临的全栈需求。由于我一直从事音视频工程开发，歌唱体验很大一部分依赖于硬核算法，比如音效、歌谱、回声消除效果等。

对于歌唱评分来说，2019年初很难找到合适的第三方技术服务，当时我请了一个兼职人员帮我开发一套算法。然而，结果的准确性始终存在很大的问题。我大部分时间都花在这上面。一个月看了四五篇论文，对评分算法做了比较大的优化。准确度也有了明显的提升，大致可以满足我们娱乐唱歌的需求。

这里也尝试了回声消除。彼时，教育事业如火如荼。 RTC厂商基本集中在会议和教育领域，像我们这样的娱乐卡拉OK产品需求量比较低。当时回声消除最明显的问题是在双讲场景下对人声的抑制非常严重。人声低沉，甚至有些音节都消失了。

这类问题在会议环境中并不是特别严重，只要能清楚地听到对方在说什么即可。然而，在卡拉OK场景中，这种对人声的损害会导致非常差的聆听体验。在这种情况下，最好留下一些伴奏的回声。还要尽量确保保留人声的细节。我们当时也尝试将WebRTC中的AEC算法提取出来，然后屏蔽掉唱歌时的非线性处理部分，只进行线性处理。剩余的回声被伴奏的精确混合所抑制。

如何“玩”在线卡拉OK —— 专访日格音视频架构师程乐

在当时各个RTC厂商的整体效果下，这个方案的体验在大多数情况下都会好很多。当然，教育废除后，各家公司开始关注泛娱乐市场，这方面的经验有了质的飞跃。现在我们还购买了第三方AI回声消除算法。

目前我们的音视频侧会相对独立于业务。大多数优化迭代可能与业务没有密切相关。这些部分会独立发布，然后与业务侧的版本一起穿梭。其中有些是产品带来的体验问题的优化，有些是我们根据用户反馈和统计信息自行完成的。当然，还有一些和业务密切相关的开发内容，比如唱法、一些需要唱歌和评分的场景等，这部分会和业务需求一起评估，纳入业务项目管理进步。

宣传和技术也是我们在发展过程中努力提高的方向。留住用户更重要的是产品力，技术也是为产品力服务的。我们在这个领域还有很长的路要走。

绕不过的降本增效

说到降本增效，其实作为一个小团队，我们主要是注重发挥自己的优势，想办法寻找合作伙伴来填补非优势方向和不能做的方向从成本角度考虑。比如实时卡拉OK场景，我们从2019年开始就一直在积累我们自己能做的采集、渲染和模型适配工作，这对用户体验影响比较大； RTC传输优化、AEC处理、服务器安装等建立了实验室评估体系，选择最佳的服务提供商来满足需求。

从成本来看，实时卡拉OK最大的因素就是RTC服务的成本。我们目前将各个公司的RTC服务与我们自己的采集和渲染集成在一起，这样可以最大程度地降低切换成本。多个RTC同时在线。体验也一致。在这个方案下，我们将拥有更好的议价优势，也可以占据议价的主动权。另外，末端对CDN资源的缓存机制以及RTC资源按需使用的优化也能降低部分成本。

03 要在现在，抓住未来

唱歌是人的天性，社交也是人的天性。尤其是年轻一代对于自我表达和社会认可有更加个性化的需求。他们在虚拟社区中形成群体也有更多的认同感和精力投入。以卡拉OK为基础的社交品类将继续存在。可挖掘空间。

我认为卡拉OK未来的发展方向也应该是更容易积累社交关系的方向。例如，更精准的匹配推荐策略，让对气质敏感的用户能够高效理解和沉淀关系；又比如基于AI的自动适配和自动构图，让有才华的非专业用户能够以低成本高效地创作出自己的特色作品。以低成本展示你的才华；对于音乐领域来说，基于AI的伴奏人声分离技术已经比较成熟，目前的效果基本实用。

另一个例子是基于AI的回声消除和降噪，可以达到传统算法无法达到的高度。比如我们所在的卡拉OK社交领域，如果能够利用AI对歌曲和用户的表演进行自动分类和推荐，将是一个更加明显的方向。希望未来的技术发展能够解决目前实时合唱的延迟问题，让远方的用户也能轻松和声。