火山引擎端云一体化服务:打造面向体验的视频云

LiveVideoStack_ LiveVideoStack_     2023-02-23     324

关键词:

12月2日,在「新云·共未来」云产品发布会上,火山引擎点播基础技术负责人马茜进行了主题为《火山引擎视频点播:端云一体化服务打造极致播放体验》的演讲。她以视频点播为例,分享了火山引擎视频云团队在视频画质体验、播放体验、性能体验三个方面进行的优化。

火山引擎点播基础技术负责人马茜

以下为演讲全文:

大家好,非常开心给大家带来火山引擎视频云的技术分享。

火山引擎视频点播是集音视频编辑、上传、媒资管理、处理、分发、播放于一体的端到端解决方案,帮助企业和开发者快速搭建安全、弹性、高效、可定制的视频点播平台和应用。

对于点播应用而言,高画质、零卡顿、低成本是用户的三大持续性需求。基于此,火山引擎视频云团队在画质、播放、性能三方面进行了深入优化。

画质体验:全链路画质调优三步曲

随着终端设备与网络基础设施的不断升级,用户对于高清画质的诉求也随之增长。为此火山引擎视频云团队打造了全链路的画质优化解决方案,包含画质评测、画质检测与智能处理、画质监控三个方面。

画质评测-「评测」先于「优化」

由于观众对图像质量感知的主观差异性,画质评测一直是业界难点。一般对于图像质量的定义有两种:

  • 从信号处理角度,关注成像系统中信号的准确性,如采集、处理、传输中画面是否有损,但在很多场景下,主观观看效果很难量化;

  • 从人眼视觉角度,关注观看者的感受,但审美水平不同的观看者,反馈结果也不同。

针对这种情况,视频云团队建立了一套可量化的指标,辅助评测视频画质:

  • 全参考评价指标:PSNR、SSIM、VMAF等常用指标,用于评测视频转码和分发期间的质量变化;

  • 无参考评价指标:VQScore,模仿用户主观感受及美学质量,用于分析上传视频的质量,并以探针方式灵活接入视频处理链路的任意节点。

画质检测与智能处理-对症下药

不同的视频有不同类型、不同程度的画质问题,很难用统一的技术方案进行修复。视频云团队基于画质评测的结果,针对各维度提炼出对应的个性化修复模块,并排列组合调优。“对症下药”使得每部片子都有针对性的修复方案,最终达到最理想的修复效果。

今年10月,西瓜视频联合火山引擎宣布在未来一年时间内对百部经典动画进行修复,其中的老片修复技术,就是智能处理的一项能力应用。在智能修复的同时,我们也保留了其原有艺术风格,在追求高清的过程中不破坏原有美感。

以水墨画、剪纸风格组成的《葫芦兄弟》为例,我们通过算法对其进行了精准识别和区分,在保持水墨部分模糊朦胧的同时,对剪纸部分进行修复增强,最终达到最优的修复效果。

画质监控-告别元无知

除画质评估与检测外,针对海量视频,视频云团队打造了高时效、多维度的监控方案,全天候不间断地检测视频质量,降低人工审核成本,减少线上服务的风险和事故率,告别画质体验元无知。

播放体验:站在用户视角衡量技术演进

音视频产品在进行技术优化时,经常面临一系列灵魂拷问:

  • 业务数据不好,是不是因为播放体验不好?

  • 新上线的优化,收益到底如何?

  • 我们和竞品之间的差距在哪里?是否影响业务增长?

为了更好地理解并解决以上疑问,视频云团队建立了一套播放体验质量服务体系。

质量指标-知其然,知其所以然

在视频云团队看来,以下三个质量指标,可以体现音视频产品相应的业务情况:

  • 业务数据:包括 DAU、留存、广告收入、成本等数据;

  • QoE:播放次数、播放时长、完播率;

  • QoS:卡顿、起播时长、失败率、画质指标。

通过技术上面向 QoS 的指标优化,可以正向影响 QoE 和业务数据的增长。

技术优化-面向业务,理解客户

基于以上数据指标,如何关联 QoS 指标与 QoE、业务数据?视频云团队基于实际业务不断进行技术优化与打磨。

例如起播时长是影响播放体验的重要因素之一,经过大量的场景研究,视频云团队发现当超过 200ms时,起播时长再增加对用户体验有明显的劣化作用。那么对于该业务场景,将大盘起播时长优化到至少200ms以下,就可以保障用户体验。

某应用用户起播等待时长与用户离开速率

基于大量实践数据,火山引擎视频云沉淀出一系列可复制的、能够提升业务增长的技术方法,包括“零首帧”预加载策略、复杂网络环境的弱网弱机策略等。借助端云一体化的技术框架能力,将策略算法与播控能力产品化输出给更多企业。

性能体验:成本与体验的非零和博弈

随着5G时代的到来,视频高清化的需求进一步提升,从480p到1080p,再到8K,消费者对高清视频的需求永无止境。如何在有限的计算资源下,实现用户体验和技术成本的最优化,这也正是各类视频编码标准和传输标准演进的动力。

火山引擎端云一体化 H.265 解决方案

H.265 是 ITU-TVCEG 继 H.264 之后所制定的新的视频编码标准,在有限带宽下传输更高质量的网络视频,仅需一半带宽即可播放相同质量的视频。火山引擎视频云团队基于对 H.265 的深入研究,打造了端云一体化的 H.265 解决方案,带来全新性能体验:

  • 自研H.265编码器达到了24%-45%的成本优化

  • H.265 VV覆盖度 >85%,有效节省带宽成本

  • 智能热度转码,H.265 转码利用率>90%,避免转码算力浪费

  • Fallback 比例<0.3%,有效提升播放成功率并缩短首帧时间< span="">

  • 自研软件解码速度比开源方案快40%+,CPU比业界低30%

  • 起播时长<100ms,端卡顿时长减少15%< span="">

打造行业领先的编码技术

除 H.265 标准外,火山引擎视频云团队自研 BVC 编码器,正式支持 H.266/VVC 标准。

针对移动端用户众多、设备性能参差不齐的问题,视频云团队在 Android 和 iOS 的 Arm 平台上,对 BVC 解码器进行优化,在部分设备上的解码速度达到参考软件的数十倍。和开源 x265 基准编码器相比,BVC1 最高可节省 55% 的存储和带宽成本。

以上就是我的全部分享,未来火山引擎视频云团队将不断打磨产品和优化技术,打造面向体验的视频云,致力于为大家带来极致的音视频体验。

点击文末“阅读原文”链接,了解更多火山引擎视频云最新信息。

火山引擎视频云:坚持基础技术创新,打造极致用户体验

...我们从toC到toB,作为抖音背后的视频技术中台,火山引擎视频云经历了哪些转变和挑战?对于国际标准的制定,它是如何实现从跟随者到参与者的跨越?视频盗版问题泛滥,火山引擎视频云又有哪些应对措... 查看详情

主编连线:对话火山引擎——打造音视频极致体验与成本优化

...衡成本也至关重要。今晚19:00,LiveVideoStack主编将连线火山引擎视频云架构技术总监王悦及火山引擎点播基础技术研发负责人马茜,聊聊火山引擎是 查看详情

助力极致体验,火山引擎边缘计算最佳实践

...的体验变得至关重要。近期,在“面向体验的视频云火山引擎增长沙龙”中,火山引擎边缘计算产品负责人沈建发分享了新一代创新算力解决方案,揭秘火山引擎边缘计算助力企业进一步提高用户体验& 查看详情

火山引擎边缘渲染,驱动游戏体验升级

...”为主题的2023中国移动互联网行业峰会在南京举办,火山引擎介绍了基于边缘云的渲染新应用,持续驱动游戏体验升级,加速赋能泛数字化场景升级。火山引擎边缘云高级产品总监沈建发表示:“「激发创造࿰... 查看详情

刘德华在线演唱会,火山引擎助力打造极致视频直播体验

...上亿的观看量,这种高并发也成为平台的一大挑战。火山引 查看详情

抖音背后的视频体验分析体系与优化技术揭秘

...于11月4日至5日在北京丽亭华苑酒店召开,本次大会「火山引擎」品牌技术专场重磅加盟,火山引擎视频云团队基于抖音亿级DAU实践,构建了一套能真正体现用户体验优化的指标体系,作为技术前进的指北针,... 查看详情

火山引擎视频云:从toc到tob,如何将最好的技术开放出去

 火山引擎总经理谭待6月10日,火山引擎召开品牌发布会。在发布会上的演讲中,火山引擎总经理谭待提到要把字节跳动最好的技术开放出去,而经过抖音、西瓜等产品的千锤百炼,服务过数亿用户的火山引擎视... 查看详情

字节跳动“技穷”,火山引擎“啃老”

...的拓展。从这两个角度来说,就近期内字节跳动旗下火山引擎推出「内容云」的动作,就非常符合当前云服务市场的细化趋势——内容运营的数字化趋势以及火山引擎急需在一个细分场景打出品牌优势的诉求结合在一起&#... 查看详情

火山引擎成为全球边缘计算大会深圳站合作伙伴

关于火山引擎火山引擎是字节跳动旗下的云服务平台,将字节跳动快速发展过程中积累的增长方法、技术能力和工具开放给外部企业,提供云基础、视频与内容分发、大数据、人工智能、开发与运维等服务,帮助企业... 查看详情

火山引擎:构建面向异构算力的边缘计算云平台

导读1月6日,“火山引擎产品技术大讲堂”2022年首期直播在线开讲,围绕"算力"主题,探讨多样化的算力应用与实践。边缘计算产品负责人沈建发分享了火山引擎边缘计算如何解决万物互联时代异构算力行业发... 查看详情

从ffmpeg性能加速到端云一体媒体系统优化

...上,分享了开源FFmpeg在性能加速方面的实战经验以及端云一体媒体系统建设与优化。众所周知,FFmpeg作为开源音视频处理的瑞士军刀,以其开源免费、功能强大、方便易用的特点而 查看详情

助力企业数字化升级,火山引擎发布云上增长解决方案

7月20日,2022火山引擎原动力大会在京举办。会上,火山引擎发布全新Slogan“云上增长新动力”,并推出以云为底座的一系列产品解决方案,包括企业上云和智能营销通用方案,以及覆盖金融、汽车、消费、文... 查看详情

从ffmpeg性能加速到端云一体媒体系统优化

...上,分享了开源FFmpeg在性能加速方面的实战经验以及端云一体媒体系统建设与优化。众所周知,FFmpeg作为开源音视频处理的瑞士军刀,以其开源免费、功能强 查看详情

bmob后端云学习(未完)

...开发app时非常方便。在他的官网可以看到其功能包括云端一体化互联网中间件服务、微信小程序SDK、云函数、短信验证码(响应时间3-5秒)。几行代码即可完 查看详情

apachepulsar在火山引擎emr的集成与场景(代码片段)

...用,其应用场景和客户案例也在不断地丰富与扩充。 火山引擎是字节跳动的企业服务品牌,主要面向ToB业务场景。火山引擎中Stateless云原生开源大数据平台E-MapReduce(简称EMR)为用户提供了云上的端到端的大数据解决方案。... 查看详情

阿里平头哥发布risc-v高能效处理器玄铁c908,打造端云一体生态

11月3日,在2022云栖大会上,阿里平头哥发布全新RISC-V高能效处理器玄铁C908。玄铁C908计算能效全球领先,较业界同性能处理器能效提升超20%,更能满足低碳时代的算力需求,可广泛用于智能交互、多媒体终端... 查看详情

网易视频云郭再荣:打造一体化多场景的视频云平台

...再荣受邀出席首届视频云峰会,并向外界传递出打造一体化、全开放、多场景的视频云平台的信号。而这位在音视频领域拥有十余年研发经验的技术专家,又是如何看待视频云服务及其商业前景的?视频云行业崛起&#x... 查看详情

全场景ai推理引擎mindsporelite,助力hmscore视频编辑服务打造更智能的剪辑体验

移动互联网的发展给人们的社交和娱乐方式带来了很大的改变,以vlog、短视频等为代表的新兴文化样态正受到越来越多人的青睐。同时,随着AI智能、美颜修图等功能在图像视频编辑App中的应用,促使视频编辑效率和... 查看详情