关键词：
近日，全球顶级信号处理技术会议 ICASSP 2022 公布了论文入选名单。由王君乐博士带领的腾讯Turing Lab实验室论文——《针对手机游戏的主观与客观视频质量评价》（Subjective and Objective Quality Assessment of Mobile Gaming Video）、《引入用户共识学习的美学质量预测》（Considering User Agreement in Learning to Predict the Aesthetic Quality）被大会接收。
ICASSP (International Conference on Acoustics, Speech, and Signal Processing) 是国际声学、语音和信号处理会议。是由IEEE主办的全世界最大的、也是最全面的信号处理及其应用方面的顶级学术会议，具有权威、广泛的学界及工业界影响力。历届ICASSP会议都备受AI领域研究学者的热议和关注。
此次，腾讯Turing Lab实验室在国际舞台全方位展示了腾讯在视频质量评价、图像质量评价方面的实力。
以下为腾讯Turing Lab实验室入选论文概述：
01.针对手机游戏的主观与客观视频质量评价
Subjective and Objective Quality Assessment of Mobile Gaming Video
近年来，手机游戏在整个游戏市场中占据的份额已超50%，手游相关内容也成为社交媒体平台上短视频的重要组成部分。同时，基于视频流的云游戏也逐渐吸引了越来越多的用户。随着这些游戏相关的视频流媒体技术和服务的蓬勃发展，用户对游戏的质量体验(QoE, Quality of Experience)提出了更高的要求。只有对这个视频链路及内容表现进行更加严格的质量把控，才可以为用户带来更佳的游戏体验。
画质作为质量体验QoE的重要维度之一，如何正确地预测人眼感知的画质在很长一段时间内一直是学术界及工业界研究的重点及热点。然而，目前大量的已有研究主要聚焦在传统的视频内容上，包括PGC内容、UGC内容、以及面向线上会议和共享屏幕等场景的特定内容等。当这些画质评价方法直接应用在游戏视频时，性能表现一般。
因此，在本篇论文中，我们针对手机游戏在云游戏场景下的画质问题，进行了主观实验及客观算法模型研发的相关工作。我们先从腾讯先锋云游戏平台上选择17款手机游戏中，并针对不同场景收集了共150段源视频，之后使用多种编码器和编码参数构造出1293段视频。我们基于ITU相关标准进行严格的主观实验，从而得到了全新的针对手机游戏的视频质量评价数据集TGV dataset（Tencent Gaming Video dataset）。
在这篇论文中，我们提出质量评价模型ERAQUE(Efficient hard-RAnk QUality Estimator)。结合新提出的困难样本排序损失（Hard Pairwise Ranking Loss， Fig1），该模型在训练过程中可以更加针对相似的样本对，从而学习到更细粒度的失真信息，进一步提升模型的性能。在提出的TGV数据集上，我们进行了模型训练和对比试验，实验结果表明ERAQUE模型相比业界其他质量评价模型表现出了更好的性能。
最后，为了让模型以在端侧更高效地推理，我们使用知识蒸馏的方案（Fig.2）对ERAQUE模型进行压缩和加速，最终实现ERAQUE模型的轻量化部署，实验结果表明ERAQUE模型配合提出的蒸馏策略可以使模型在复杂度和性能之间实现高度权衡。
02. 引入用户共识学习的美学质量预测
Considering User Agreement in Learning to Predict the Aesthetic Quality
近年来，针对图像的视觉美感评价技术在许多应用场景中发挥着重要作用，包括图像的自动化编辑、图像生成、以及在内容推荐领域等。因此，图像美学评价成为了学术界及工业界热门的研究课题。
与传统的图像质量评价问题不同，由于人在进行美学评价时会引入更多high-level的评价维度，如情感、画面布局、色彩搭配与协调性等，这也使得美学评价相比针对失真进行的传统图像质量评价，具有更高的主观性与不确定性(见Figure 1)。
Figure 1：在这两幅图中，评测人员对于A图的美感评分具有更高的不确定性（标准差σ=1.36），而对于B图，评测人员对于美感的评分则趋于一致（标准差σ=0.59）
在这篇论文中，我们提出了改良了的多任务attention网络（见Figure 2及Figure 3），可以对输入图像的美学MOS分数，以及代表了该分数不一致性的标准差进行端到端的预测。在损失函数方面，我们同时也提出了全新的针对的置信区间排序损失（confidence interval ranking loss）,用于促使模型在训练过程中更多地关注具有更高美学不确定性的图像对，从而学习到更具有区分性地特征，以及与观测者不确定性更相关的特征。
Figure 2: 文章所提出模型的总体架构
Figure 3: 文章所提出的LMLSP模块
在这个工作中，我们通过大量的实验证明了我们所提出多任务学习美学模型不但在游戏图像的美学预测中具有巨大优势，同时对于传统的自然内容图像美学预测任务，也达到了很好的效果。
产学研结合，落地业务，反哺技术
在业务层面，以上AI技术均已应用到腾讯先锋云游戏平台，腾讯先锋云游戏通过Turing Lab画质评价、多媒体视频质量评价、内容生成及虚实互动等能力，致力于全方位的提升云游戏画质表现，打造云游戏极致的用户体验。
除了在C端业务的落地之外，在面向产业互联网层面，Turing Lab的视频质量评价技术也已经通过“腾讯WeTest质量云平台“对外开放，行业用户可以通过体验Demo快速体验了解到该技术。
除此之外，在AI应用上的探索，腾讯WeTest官网近期全新上线了AI服务专区，并同步推出视频画质评价/游戏内容安全解决方案等产品能力。未来，腾讯WeTest将持续在科研领域深耕，并致力于将AI技术前沿研究与测试场景进行融合，用技术驱动测试乃至质量保障行业的发展，并以开放态度，对外输出优秀的技术能力，助力行业的发展。
王君乐博士简介
腾讯专家研究员，Turning Lab负责人
拥有10余年计算机视觉、多媒体、机器学习领域研究经验，在人体姿态估计与重建、图像质量评价、计算摄影学、沉浸式多媒体等领域有较深的了解及实战经验，并在这些领域带领团队进行探索与落地的工作。曾主导腾讯CenseoQoE画质评价方案的建设与社区开源，主导腾讯先锋云游戏云端虚实互动技术的研发。此外，在包括CVPR、NeurIPS、TIP、TMM等顶级会议及期刊上发表多篇论文，并为多个会议及期刊担任审稿人及组织者。
关注腾讯WeTest，了解更多热门测试产品：
WeTest腾讯质量开放平台-专注测试 提升品质
腾讯论文入选ai国际顶会，详细解读nlp研究成果
...8;NLP）领域顶级会议ACL-IJCNLP2021公布了论文接收情况。腾讯有50余篇论文被接收，又一次刷新了论文录取数量纪录，领跑国内业界AI研究第一梯队。本文将对腾讯AILab主导的两篇论文进行详细解读。ACL2021杰出论文：... 查看详情
icassp2021：端到端的图像编码方法
本文来自ICASSP2021论文《ImageCodingForMachines:AnEnd-to-endLearnedApproach》基于深度学习的计算机视觉在图像领域应用越来越广泛，每天产生的图像数量爆发式增长，传统的图片编码器是面向人眼视觉而不是机器处理。本文提出基... 查看详情
icassp2021：基于显著性进行目标检测的vvc编码
本文来自ICASSP2021论文《SALIENCY-DRIVENVERSATILEVIDEOCODINGFORNEURALOBJECTDETECTION》论文基于VVC提出了面向显著性的编码框架用于处理机器任务。为了在编码前获取显著性区域，论文使用YOLO进行目标检测。为了验证编码对于机器处理的效... 查看详情
acmmm论文放榜！淘系技术内容互动算法团队4篇论文入选！
国际多媒体顶级学术会议（ACMMM2021）论文接收名录公开！淘系技术内容互动算法团队4篇论文入选！恭喜恭喜~国际多媒体学术会议（ACMMM）是计算机学科公认的多媒体领域和计算机视觉领域的国际顶级会议&#... 查看详情
腾讯技术工程|腾讯ailab11篇论文精选：图像描述nmt模型图卷积神经网络等
...018将于2月2日至7日在美国新奥尔良举行，在本届大会上，腾讯AILab有11篇论文被录用，涉及图像描述、更低计算成本的预测表现、NMT模型中的特定翻译问题、自适应图卷积神经网络、DNN面对对抗样本的优化问题等，本文精选了11篇... 查看详情
腾讯技术工程|腾讯ailab现场陈述论文：使众包配对排名聚合信息最大化的hodgeran
前言：腾讯AILab共有12篇论文入选在美国新奥尔良举行的国际人工智能领域顶级学术会议AAAI2018。腾讯技术工程官方号编译整理了现场陈述论文《使众包配对排名聚合信息最大化的HodgeRank》（HodgeRankwithInformationMaximizationforCrowdsourced... 查看详情
后量子密码芯片研究取得重大突破，论文入选isscc2022和ches2022
...态电路顶级会议ISSCC2022和密码硬件顶级会议CHES2022公布了论文入选情况，沐创集成电路分别有1篇论文入选ISSCC2022，2篇论文入选CHES2022。沐创集成电路在高性能密码芯片领域有深厚的技术积累，本次入选的3篇论文是沐... 查看详情
成功入选“实力竞争者”，腾讯云数据库再获国际权威机构认可
...评估报告《TheForresterWave™:Database-As-A-Service,Q22019》，腾讯云数据库（TencentDB）凭借优异的产品性能以及敏捷、灵活的部署能力，首度成功入选Forrester数据库厂商“实力竞争者”领域。 9项指标获评“优 查看详情
腾讯ailabaaai18现场陈述论文：用随机象限性消极下降算法训练l1范数约束模型
前言：腾讯AILab共有12篇论文入选在美国新奥尔良举行的国际人工智能领域顶级学术会议AAAI2018。腾讯技术工程官方号独家编译了论文《用随机象限性消极下降算法训练L1范数约束模型》（TrainingL1-RegularizedModelswithOrthant-WisePassiveDesc... 查看详情
icassp2021：av1基于决策树帧间划分早停止
本文来自ICASSP2021论文《DecisionTreeBasedInterPartitionTerminationForAV1Encoding》AV1引入了很多新的编码工具，导致其计算复杂度非常高。论文通过决策树在帧间预测进行块划分时预测划分方式，从而及早停止划分以减少时间。简介AV... 查看详情
《icml2020|华为诺亚方舟8篇论文入选，多智能体强化学习成热点》
ICML2020|华为诺亚方舟8篇论文入选，多智能体强化学习成热点华为诺亚方舟实验室此次有8篇论文被接收，创下ICML历届论文接收量新高。研究方向涵盖多智能体强化学习，神经网络架构搜索，1bit神经网络，图结构数据上的主动学... 查看详情
学术顶会再突破！计算平台maxcompute论文入选国际顶会vldb2021
简介： VLDB2021上，阿里云计算平台MaxCompute参与的论文入选，核心分布式调度执行引擎Fangorn、基于TVRCost模型的通用增量计算优化器框架Tempura等分别被IndustryTrack、ResearchTrack录取。一、顶会概览VLDB2021上，阿里云计... 查看详情
今年ai论文8大领域突破：特斯拉自动驾驶入选，视频博主最利好，跨界输出很潮流...
...号QbitAI自动驾驶、图像生成、2D转3D……2021年，哪些AI论文最火？又是哪些论文最具突破性？最近一位ÉTS研究生、YouTube博主总结了今年AI最新突破列表，视频、文章和代码一应俱全。我们从中梳理出八大类，就... 查看详情
icassp2021：面向scc的自适应双重树结构
本文来自ICASSP2021论文《AdaptiveDualTreeStructureforScreenContentCoding》在HEVC中，CTU采用四叉树方式递归划分，同一个CTU的亮度CTB和色度CTB采用相同的划分结构即单重树结构。而对于VVC，采用帧内预测模式的CTU的亮度CTB和色度CT... 查看详情
icassp2021：av1帧内模式编码改进
本文来自ICASSP2021论文《IMPROVEDINTRAMODECODINGBEYONDAV1》AV1帧内预测简介在AV1中帧内预测模式分为角度帧内预测模式和非角度帧内预测模式，和VP9一样有8种角度帧内预测模式，在每种方向上还有7个delta角度（-3~+3）用... 查看详情
聚焦计算机视觉前沿，蚂蚁技术研究院4篇论文入选顶会neurips
...会议“神经信息处理系统大会”（NeurIPS2022）公布论文接收结果，成立一年的蚂蚁技术研究院共四篇论文被录用，研究成果聚焦计算机视觉技术的前沿问题。 NeurIPS2022NeurIPS（NeuralInformationProcessingSystems）是... 查看详情
1100家企业角逐，分秒帧入选腾讯saas加速器第三期top45席位
12月21日，腾讯SaaS加速器第三期入选名单正式公布。经过160多天的激烈角逐和重重筛选，分秒帧从全球1100家企业项目中脱颖而出，获得TOP45席位。1100家企业角逐，分秒帧入选腾讯SaaS加速器第三期TOP45席位作为腾讯... 查看详情
cvpr2023|旷视研究院入选论文亮点解读
近日，CVPR2023论文接收结果出炉。近年来，CVPR的投稿数量持续增加，今年收到有效投稿9155篇，和CVPR2022相比增加12%，创历史新高。最终，大会收录论文2360篇，接收率为25.78%。本次，旷视研究院有13... 查看详情