网易云易盾cto朱浩齐:我们是如何用ai赋能内容安全?

author author     2022-11-16     289

关键词:

5月19日,LiveVideoStack携手网易云易盾,共同打造了“娱乐多媒体开发应用实践”专题,帮助开发者和泛娱乐平台运营人员,提升技术能力,突破难点,拓展思路与视野。

在专题论坛中,网易云易盾CTO朱浩齐分享了《AI赋能的内容安全技术实践》主题内容,从策略、技术、产品三个方面,详细介绍了网易在内容安全系统构建方面的实践经验,包括如何建立对有害信息精细明确的审核体系和应急响应机制,如何采用基于自然语言、深度学习技术的智能识别技术,保证对文字、图片、语音,特别是直播视频内容的全面精准覆盖等等。

内容安全行业现状:有害信息的持续性递增

2017年全球网民34亿,互联网普及率46%;全球智能手机保有量28亿;2016年互联网占据了中国用户55%的媒体时间;移动互联网使用时长超过电视......这些数字都在表明,网络直播的变现能力已远远超过游戏、电视等其他媒体。

朱浩齐表示,互联网进一步渗透人们生活各个角落的同时,也还带来有害信息的持续性递增——各种违法和不良信息的举报量居高不下,甚至引起了国家战略层面的关注。

没有网络安全,就没有国家安全,更不能让互联网成为传播有害信息、造谣生事的平台。因此,近年来,各种处罚案例也是不胜枚举。

这位网易云易盾CTO列举到:2017年4月18日,北京市网信办、公安局文化场行政执法总队联合约谈今日头条、火山直播、花椒直播;2017年4月底,国家新闻出版广电总局责令腾讯整改微信公众号、移动客户端播放视听节目;2017年6月22日,广电总局责令关停新浪微博、AcFun、凤凰网等站的视频服务;2017年7月,bilibili大量剧集被下架;2018 年4月6日;为了配合广电总局的整改,快手扩容自己内审核团队;2018 年4月8日,广电总局责令今日头条永久关停“内涵段子”等低俗视听产品......可以说,行业进入了强监管时代。

“对于企业来说,内容安全更是成为了刻不容缓的生死命题。”朱浩齐举例称,今年4月,文化部和旅游部公开文件显示已排查4939 款直播应用,下架370款。“所以,多款直播应用平台都选择了加大审核力度和人工投入。”例如,快手发布招聘显示将审核人员规模扩充到5000人,月薪4000-9000元;今日头条也表示近期将扩充到6000人审核团队,预期到达10000人......
技术分享图片
朱浩齐认为,互联网直播平台的内容安全给企业带来的挑战远不仅如此,在成本、效果、技术上,各种挑战维度都在不断升级,更是给企业带来了极大的困难。

网易云易盾如何在技术层面提供安全防护?

分享完严峻的形势后,朱浩齐和大家谈了下拥有20年技术沉淀的网易云易盾是如何做内容安全的。

他说,易盾在内容安全上,一共经历了三个阶段:

  • 阶段一:关键词、黑白名单、过滤器;
  • 阶段二:内容特征识别(肤色,纹理)、贝叶斯过滤、相似度匹配、规则系统;
  • 阶段三:大数据分析(用户行为,用户分类)、人机识别、人工智能(语义识别,图像识别、自然语言处理等)。
    现阶段文本、图像、语音、视频四块都有哪些核心技术?朱浩齐表示,主要有以下这些:

  • 文本:智能关键词、模糊匹配、语义分析、小语种检测;
  • 图片:图像识别、特征识别、图片检索、OCR 识别;
  • 语音:MD5库检测、语音特征检索、语音特征识别、语音识别;
  • 视频:视频转码压缩、视频流分析、截图/截帧分析。
    这位深耕于技术一线的CTO表示,得益于神经网络学科的快速发展,近年来的机器学习技术也在不断进步,为内容安全提供了最坚实的技术保障,包括分层的生物神经网络、图像识别技术、深度神经网络、神经元激活热力图等等,在安全技术效果上给予了更多的强化。
    技术分享图片
    Hubel& Wiesel(图片来源:Harvard Brain)

他说,这些技术也在网易易盾中得到了充分应用,包括图片识别、音频过滤以及视频过滤技术。
技术分享图片

  • 图片识别技术:支持人像识别,支持×××检测,支持动漫识别;支持相似匹配,支持图片旋转、裁剪,支持改变图片亮度、色调;支持水印识别。
  • 音频过滤技术:基于强大的语音识别分析引擎,通过网易积累多年的垃圾库实时过滤有害语音,同将转成文字进一步过滤。技术要点在于,将语音转换文本和文本检测相结合。
  • 视频过滤技术(直播、点播):视频流检测,视频截图/截帧检测,直播间热度监测,主播黑名单,机器+人工。技术要点在于,将视频转换图片和图片识别技紧密结合。
    技术分享图片
    对于网易来说,内部数据的多样性也给易盾提供了丰富的实践场景。“在网易邮箱、网易新闻、云音乐、LOFTER、云相册、薄荷直播等内部应用构建的数十万变种的数据中,易盾能够实现实时加密过滤垃圾信息、安全防刷等功能,良好地维护了产品运营氛围和用户体验。”

真实的技术环境更为复杂,网易易盾如何更进一步?

事实上,从技术、人力、成本等各维度来看,真实环境中的内容安全防护更为复杂。举例来说,假设10k张图像中有1张是违禁图片,易盾的系统准确率为99.9% ,即1k张图像会判错一张,那么其计算伪阳性率(False Positive Rate,即判断为违禁图像集合中正常样本的比例)为:
技术分享图片
即11 张判定为违禁的结果里面竟有10张是误判的——数据的难解释性、黑客的持续性攻击都给内容安全防护提出了更高的要求。

难解释性:如下图所示,一张原本能被正确识别的大熊猫图像,在添加人眼几乎不可辨认的微小变化之后,竟然以99 .3%的置信度被判别为长臂猿。
技术分享图片
黑客攻击:通过对输入数据的维度特性进行改变,可以针对深度学习数据处理环节进行攻击,对深度学习图像识别等应用造成逃逸攻击以及数据污染攻击等效果。比如说,下图某位明星,经过数据的维度特性处理后,它能被机器识别为“某本山”。
技术分享图片
更遑论,内容安全的“攻击者们”早已形成了成熟的产业链。他们这类徘徊在法律边缘的群体,利益明确且分工协作,攻击手段更是持续升级。所以,对于所有的内容安全厂商来说,这都是一场高成本、长拉锯的攻坚战。

朱浩齐说:“基于此,易盾对比行业传统的内容识别单维度服务,还提供了账号、IP、行为动作(关注,投票,评论)、内容识别、用户画像、群体画像、环境数据、设备指纹的多维度技术服务。此外,更是深入解析攻击漏洞,从注册保护、登录保护、环境监测、行为分析、用户分析、离线计算的全服务流程进行深度的安全防护。”
技术分享图片
目前,基于网易所构建的强大用户关系网络,易盾提供了场景化的解决方案。从广告过滤、智能鉴黄、暴恐识别、谣言排查四大方面,实现了弹幕实时过滤、聊天区文本/图片过滤、头像/昵称过滤、直播间电视墙监控、直播间音频过滤、主播黑名单、用户黑名单、房间热度分析等全方位的安全防护功能。此外,“机器+人工”的操作模式,更是从细微之处着手,提供了升级化的技术功能,智能机器监控、优先推送、智能排序、嫌疑高亮、支持警告、断流操作、自动补位、视频大小自适应等等不一而足。
技术分享图片
重重的技术防御下,安全效果自然不言而喻。朱浩齐分享到,目前易盾每天为网易数亿的用户和内容数据提供安全保障,也给网易所有得产品提供了全面的信息安全服务。“在今年三月份主要商业网站违法不良信息的举报统计中,易盾全面的信息安全服务为网易的产品带来了效果显著的保护。”他说。

如何快速使用易盾?

网易易盾,是极速智能的内容安全云服务,专注内容安全解决方案。目前,网易易盾已在泛娱乐、多媒体、运营商、电商、金融证券等各行各业实现渗透应用,多领域客户覆盖下,是秉持初心、坚韧不破的安全技术保障。

现在,通过API 接入,访问 http://dun.163.com,一天即可配置完成

内容安全数据可视化、智能的直播电视墙、身经百战的审核团队,丰富的功能应用,现在即可获取。

网易云易盾朱浩齐:视听行业步入强监管和智能时代

本文由  网易云 发布。 2018年,文娱视听行业首先感受到一股监管寒潮,一大批知名泛娱乐产品遭到监管约谈。内容安全成为行业不得不重视的Top问题,视听系统的构建绕不开内容安全,视听行业的从业者也需要... 查看详情

网易云易盾朱浩齐:视听行业步入强监管和智能时代

...内容安全。LiveVideoStack邮件采访了国内内容安全领先厂商网易云易盾CTO朱浩齐,分享内容安全的技术现状与未来挑战。 LiveVideoStack:请简单介绍自己和负责的工作?和业界其他厂商相比, 查看详情

网易云易盾荣获雷锋网颁发的年度最佳视频内容审查奖

昨日,网易云易盾正式入选由雷锋网颁布的2018「AI最佳掘金案例年度榜单」,获得其颁发的AI+内容年度最佳视频内容审查奖。网易云易盾被评为年度最佳视频内容审查奖「AI最佳掘金案例年度榜单」是雷锋网一年一度的重磅评选... 查看详情

网易云易盾牵手百视通助力广电领域新媒体内容安全

经过严格的遴选,国内领先的智能内容安全服务商网易云易盾脱颖而出成为百视通BesTVApp合作伙伴,携手百视通共同构建纯净健康的内容生态。百事通是中国大陆首家获得IPTV运营牌照的公司,依托上海文化广播影视集团有限公司... 查看详情

网易云易盾正式成为“中国短视频与直播联盟”常务理事

...在深圳隆重举办。作为内容安全解决方案领域的领先者,网易云易盾凭借其自身在内容安全方面的积累和突出贡献,成为中国短视频及直播联盟常务理事。中国短视频与直播联盟(ChinaShortVideosandLiveStreamingAlliance)是在中国传媒... 查看详情

网易云易盾发布多国家多语种内容安全服务,助力中国互联网出海

中国互联网企业迎来“大航海时代”,越来越多的中国互联网产品走向海外,特别是东南亚的印尼、泰国等移动互联网新兴市场。据《中国移动互联网出海环境全揭秘报告》,2017年Q4中国互联网出海企业就达到720多家,出海应用... 查看详情

网易云易盾发布多国家多语种内容安全服务,助力中国互联网出海

中国互联网企业迎来“大航海时代”,越来越多的中国互联网产品走向海外,特别是东南亚的印尼、泰国等移动互联网新兴市场。据《中国移动互联网出海环境全揭秘报告》,2017年Q4中国互联网出海企业就达到720多家,出海应用... 查看详情

ddos攻击如此猖獗,我们该如何解决?

...论的热点话题,对于互联网企业而言:无安全、无生存。网易云易盾的产品架构师高洪亮在攻击日益泛滥的今天,如何保障企业安全成为了大家研究的热点。4月14日架构和运维技术高峰论坛上,来自网易云易盾的产品架构师高洪... 查看详情

网易云首席安全架构师谈安全新形势:ddos两三天,游戏玩家数从几万降到几百

欢迎访问网易云社区,了解更多网易技术产品运营经验。安全是一个永恒的话题,在业务不断云化、攻击越来越复杂的当下,互联网安全呈现了出什么样的严峻形势?对这些形势,网易云又是如何应对的?网易云首席安全架构师... 查看详情

网易云首席安全架构师谈安全新形势:ddos两三天,游戏玩家数从几万降到几百

...,互联网安全呈现了出什么样的严峻形势?对这些形势,网易云又是如何应对的?网易云首席安全架构师沈明星4月13日,网易云易盾&CNCERT闭门安全沙龙在杭州举行,在沙龙上网易云首席安全架构师沈明星分享了他的认识和思... 查看详情

知物由学|ai网络安全实战:生成对抗网络

本文由  网易云 发布。 “知物由学”是网易云易盾打造的一个品牌栏目,词语出自汉·王充《论衡·实知》。人,能力有高下之分,学习才知道事物的道理,而后才有智慧,不去求问就不会知道。“知物由学”希... 查看详情

知物由学|未来安全隐患:ai的软肋——故意欺骗神经网络

欢迎访问网易云社区,了解更多网易技术产品运营经验。“知物由学”是网易云易盾打造的一个品牌栏目,词语出自汉·王充《论衡·实知》。人,能力有高下之分,学习才知道事物的道理,而后才有智慧,不去求问就不会知道... 查看详情

知物由学|只要5行代码,就可以实现ai图像识别(代码片段)

“知物由学”是网易云易盾打造的一个品牌栏目,词语出自汉·王充《论衡·实知》。人,能力有高下之分,学习才知道事物的道理,而后才有智慧,不去求问就不会知道。“知物由学”希望通过一篇篇技术干货、趋势解读、人... 查看详情

知物由学|ai网络安全实战:生成对抗网络

“知物由学”是网易云易盾打造的一个品牌栏目,词语出自汉·王充《论衡·实知》。人,能力有高下之分,学习才知道事物的道理,而后才有智慧,不去求问就不会知道。“知物由学”希望通过一篇篇技术干货、趋势解读、人... 查看详情

组建验证码的具体工作流程

以网易云易盾验证码为参考案例: 常规验证体系常规验证码体系(验证码类型为滑动拼图、图中点选、短信上行验证)验证码组件工作流程如下:· 用户访问产品应用页面,请求显示易盾验证码· 用户按照提示要求完... 查看详情

揭秘医疗安全防卫战:“我们仍在购买不安全的医疗设备”

欢迎访问网易云社区,了解更多网易技术产品运营经验。“知物由学”是网易云易盾打造的一个品牌栏目,词语出自汉·王充《论衡·实知》。人,能力有高下之分,学习才知道事物的道理,而后才有智慧,不去求问就不会知道... 查看详情

揭秘医疗安全防卫战:“我们仍在购买不安全的医疗设备”

欢迎访问网易云社区,了解更多网易技术产品运营经验。“知物由学”是网易云易盾打造的一个品牌栏目,词语出自汉·王充《论衡·实知》。人,能力有高下之分,学习才知道事物的道理,而后才有智慧,不去求问就不会知道... 查看详情

双12,聊聊和电商们有关的网络安全

“Question”为网易云易盾的问答栏目,将会解答和呈现安全领域大家常见的问题和困惑。如果你有什么疑惑,也欢迎通过邮件([email protected])提问。刚刚告别了紧张的双十一,又即将迎来双十二,顾客们满怀期待,商家和平... 查看详情