关键词：
本周五(2017 年 7 月 21 日)，由 51CTO 主办的 WOTI2017 全球创新技术峰会将于北京富力万丽酒店举行，此次峰会设有全天的巅峰论坛，及深度学习、人机交互和智+应用等分论坛。
国美大数据中心副总监杨骥，将出席深度学习分论坛，做主题为“深度学习开启社交电商智能时代”的演讲。在会前交流中，杨骥介绍了此次演讲的部分技术干货，让我们抢先看。
人工智能、机器学习与深度学习的关系
从冯诺依曼体系结构的提出开始，人类使用计算机就有了智能化的诉求。也就是使用计算机或机器人能够帮助人类做繁杂或者做不到的事情，从根本上来说，就是提升整个社会的生产效率。
相对于机器学习和深度学习，人工智能的概念更为宽泛。在机器学习方法兴起之前，大部分的人工智能应用都是基于逻辑推理实现，即设定N多规则，在不同场景，让机器或者程序做选择。
作为人工智能的一个分支，机器学习利用统计或者几何表达的形式处理问题，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识和技能。直到上世纪90年代，伴随着互联网行业的兴起，机器学习掀起了人工智能领域一个新的热潮。
深度学习属于神经网络模型的范畴，本身并不是一个新的概念，早在上世纪四、五十年代，就有了最简单的神经网络——感知机模型。
2006 年，Geoffrey Hinton 提出了 LayerwisePre-Training 方法训练多层 RBM 网络(即 DBN)，神经网络在大数据规模上的效果取得了长足的进展。
深度学习本身就是对训练数据进行分层表达，将低层级特征逐步抽象成高层级特征的过程，同时拟合出非常复杂的高维非线性函数，这是大多数机器学习模型难以望其项背的。
机器学习在国美的应用实践
目前机器学习在国美的应用，常规阶段已经趋近成熟，如基础数据收集、数据处理、特征工程、模型部署等方面，目前的主要工作是算法和业务逻辑的快速迭代。
接下来我们会在深度学习、计算机视觉、自然语言处理、语音识别等方面继续加大研发力度，除了搜索、推荐、广告等线上业务外，还会重点支持线下门店的新兴购物场景，实现国美社交电商的新零售平台落地。
我入职时，国美在机器学习方面还比较薄弱，之后团队建设、整套算法和架构部署等都由我亲自建设起来。相比之前的效果，GMV 提升幅度非常大。举例来说，在商品推荐过程中，利用机器学习排序和传统的排序方式相比，各方面都有很大改变。
初期针对 Web 首页、手机 APP 首页等一些推荐位置，系统基于冷启数据，做一些归类、统计等，展示到页面上，这时每个用户访问的时候，看到的效果毫无差别。
这样就会使得用户对推荐产品不感兴趣，毫无粘性可言，同时将其他商品宝贵的曝光机会浪费掉了。那么如何做到推荐个性化?这里就涉及到利用机器学习进行推荐的个性化排序。
如下图，是机器学习排序工作流：
先要对海量的数据进行训练，基于用户、查询、商家数据找特征，之后做模型训练，经过线上部署之后，正式上线。
如下图，是推荐排序的训练流程：
推荐排序训练流程分别为场景恢复、训练样本构建、模型训练和线上实验这四部分。
推荐离线模型的构建流程：
收集用户行为，包括点击、加购、关注、下单等。
对行为进行过滤，比如：join(白名单)、统计截断、position-bias、多次加/删购等处理。
制定行为评分规则，生成评分矩阵。
训练矩阵分解模型。
导入缓存，请输入文案。
如下图，是推荐离线模型的评分规则：
这里值得提醒的是在打分之前，必须要对数据进行清洗，去除“点击狂人”、“用户误点”、“买后查单”等情况。其中，对非常活跃的用户要对他的行为进行降采样。
深度学习在国美的应用实践
传统计算机视觉工作流是由计算机视觉专家进行特征的设计，如 SIFT，KAZE，HoG，SURF 等。之后是训练分类器，进行多目标识别。
如下图，是传统计算机视觉工作流程：
传统计算机视觉领域不仅需要领域知识，还需要耗费巨量时间，深度学习的发展给这个领域带来了新的变革。
深度学习工作流是根据训练数据自动构建特征，将特征抽取和分类/检测任务同时进行。深度学习专家需要做的事情就是定义神经网络架构，并进行训练。
如下图，是深度学习工作流：
深度学习会自动训练出好的特征，并且很多方法可以在各个领域中通用。在国美的做法是深度学习+CV 工作流，也就是将计算机视觉特征和深度学习特征相结合。
同时，抽取计算机视觉特征和 DNN 特征，之后进行多目标的识别。如下图：
深度学习与视觉特征
利用机器学习对图像视觉特征进行提取的过程，可以分为四步，分别是图像标注、提取特征、降维和匹配检索：
图像标注。对国美全站的商品图像进行标注，这个过程中最主要的工作是数据清洗，即把不能和品类对应的图片删除或者重新进行品类校准。
先统计国美全站最近一年内各品类下商品总数的分布，然后按照分布进行图片抽样。
提取特征。图片的特征分为通过深度学习得到的特征和图像局部的特征。可利用 caffe 训练 CNN。
将倒数第二层输出作为 Feature Learning 的结果提取出来(Deep Learning + Transfer Learning)，可利用局部特征算子(SIFT，kaze等)提取出图像的局部特征。
降维。用积量化(ProductQuantization)的方法对深度学习得到的特征进行降维，用 Fisher Vector 对图像局部特征进行降维。
匹配检索。采用最近邻搜索的方法找出每一个商品的相似商品集合。
深度学习构建 GomePlus 新场景：“拍照购”
基于深度学习构建的“拍照购”场景在国美已经上线，它可以实现根据用户上传的图片预测品类，推荐相关商品。具体步骤如下图：
当用户拍照或者从 PC 和手机选取商品图片上传成功以后，系统就会进行特征向量的计算及匹配。之后猜测用户想要的商品，根据商品图片库的相关结果进行展示。
深度学习构建 GomePlus 新场景：搭配购推荐
基于深度学习的检索技术可以得到一套通用的商品特征学习框架。
在此基础上，针对不同种类商品，尤其是服装类商品，可以进行搭配推荐。同时有待进一步研究分布式检索引擎、特征压缩、CNN 模型移动端部署等。
深度学习构建 GomePlus 新场景：相似推荐
进行拍照购的同时，我们还在个性化推荐场景下尝试了基于图片的相似推荐，因为目前主流的推荐召回方法都是在大规模用户协同行为数据上进行建模，会造成召回结果比较集中的问题。
从用户的角度，相似推荐的场景诉求还是想找到和主商品“相貌相同或者相似”的商品。因此利用图像找相似更符合用户的需求，同时还提高了推荐结果的多样性和新颖性。
写在最后
利用机器学习和深度学习构建推荐场景时，最大的难点是数据源头，即数据收集问题。现在，大多数企业做算法，基本是如何做特征、如何训练模型。
正确的做法应该是从数据收集、前端进行埋点，数据科学部门就应该参与，而不是被动的等待数据进来，基于提供的数据做事情，这是非常关键的点。
未来国美在前沿技术方面的布局着重在计算机视觉和语言识别两大方向，如线下店铺的人脸识别、商品识别、深度学习的云平台、智能辅助购物等。同时，国美还将在图片描述生成、图像 2D 转 3D、以及深度学习个性化排序等方面进行尝试。
本人关注架构、算法，运维等技术领域，有投稿、寻求报道意向技术人请联络 [email protected]
杨骥
国美互联网大数据中心副总监
负责个性化搜索和推荐平台规划及搭建。毕业于中国传媒大学，获得机器学习和计算机视觉方向博士学位。先后任职于凡客、京东。多年来致力于机器学习在互联网领域的应用。在搜索、推荐、用户画像、图像分析等方面有着丰富的实战经验和项目管理心得。目前专注于社交电商领域的深度学习技术。
本文出自 “12562290” 博客，请务必保留此出处http://12572290.blog.51cto.com/12562290/1949148
小白入门深度学习|第三篇：深度学习初体验
文章目录一、深度学习是什么二、实现过程1.准备数据2.构建神经网络模型3.编译模型4.训练模型5.预测三、总结课后练手项目（附代码+讲解） 查看详情
小白入门深度学习|第三篇：深度学习初体验(代码片段)
文章目录一、深度学习是什么二、实现过程1.准备数据2.构建神经网络模型3.编译模型4.训练模型5.预测三、总结课后练手项目（附代码+讲解）🚀我的环境：语言环境：Python3.6.5编译器：JupyterNotebook深度学... 查看详情
《harmonyos实战—harmonyos（鸿蒙）开发初体验，华为如何引领物联网时代》
Harmonyos（鸿蒙）开发初体验，华为如何引领物联网时代华为鸿蒙系统是一款全新的面向全场景的分布式操作系统，创造一个超级虚拟终端互联的世界，将人、设备、场景有机地联系在一起，将消费者在全场... 查看详情
深度|人脸图像的技术原理及在电商业务中的应用
1、概述时至今日，计算机视觉和深度学习的迅速发展，给很多技术领域带来了颠覆性的变化。人脸图像处理(FaceImageProcessing)就是其中的典型例子：在互联网时代，该技术通过各种各样的应用方式，为人们的生活带来了便利和安... 查看详情
百度paddlepaddle常规赛nlp赛道火热开启
作为人工智能时代的基础，深度学习一直是人工智能最热门、企业投入最多的研究领域之一，百度PaddlePaddle深度学习框架应运而生，这是国内唯一一家拥有自主知识产权的开源深度学习框架。在此框架中，汇聚了更多的AI科学家... 查看详情
ai零基础入门之人工智能开启新时代—下篇
...让机器具备这样的能力？·举一个例子：机器也需要学习什么是机器学习机器学习的定义·机器学习为人工智能提供了基础，机器学习就是一种使用数据来训练软件模型的技术。什么是 查看详情
研一前的暑假，深度学习初体验
...向，被分配在公司的算法组，所以也就不得不走向了研究深度学习的方向。做事情????在简单的熟悉了公司之后，由于初来公司，并没有分配什么很具体的工作，所以自己在没事的时候，我选择继续考研之后做的事情，那就是学... 查看详情
头歌平台-深度学习初体验(代码片段)
EduCoder平台：深度学习初体验第1关：什么是神经网络第2关：反向传播第3关：动手实现CNN识别手写数字编程要求：填写python代码，在Begin-End段中构建出如下结构的卷积神经网络：64个5*5的卷积核组成的卷... 查看详情
easydl桌面版发布！3天体验学习
...速落地AI的突破口，因此备受行业关注。日前，在深度学习技术及应用国家工程实验室主办的WAVESUMMIT+2021深度学习开发者峰会上，百度飞桨EasyDL桌面版全新发布，应需而生。飞桨EasyDL桌面版广泛兼容Windows、macOS... 查看详情
人工智能，神经网络算法，机器学习，深度学习三者关系
...入学习人工智能的学习者来说，对人工智能、机器学习、深度学习的概念和区别还不是很了解，有可能你每天都能听到这个概念，也经常提这个概念，但是你真的懂它们之间的关系吗？那么接下来就给大家从概念和特点上进行阐... 查看详情
后深度学习时代，推荐系统向何处去？
近年来，深度学习出现并统治了人工智能领域。推荐系统技术迎来了一次重大的革新，推荐系统正式进入了深度学习时代。学术界尝试用深度学习设计推荐算法，工业界也将深度学习广泛应用于实际项目。01推荐系统... 查看详情
短说整合运营系统深度分析：社区论坛社交电商知识付费三大模式
文章大致结构一、产品介绍二、竞品分析三、产品运用场景四、部分功能测试五、总结概述本文探讨的目的是笔者在研究众多产品之后，想要做一个社交社区工具类产品的一个系列，恰好看到人人网回归社交，又正好在体验短说... 查看详情
问答集锦人工智能／机器学习技术在电商场景下的应用
近年来阿里不断运用深度学习、强化学习等人工智能领域的相关知识优化自身电商平台的搜索引擎和推荐系统，让其从冷冰冰的系统不断成长为越来越懂用户的智能购物助手。 日前，《尽在双11》人工智能部分执笔人&阿... 查看详情
转载零基础入门深度学习-感知器(代码片段)
【转载】零基础入门深度学习(1)-感知器机器学习深度学习转载自https://www.zybuluo.com/hanbingtao/note/433855无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理... 查看详情
深度学习下的验证码识别教程
...ead-14031313-1-1.html随着大数据时代，人工智能时代的到来，深度学习的应用越来越广，场景识别、目标检测、人脸识别、图像识别等等广泛应用。在人工智能方面。深度学习框架主要运用于python，c++等资源。而易语言使用深度学习... 查看详情
鸿蒙系统2.0开发使用分享初体验(代码片段)
作为一名移动端开发,对于华为的鸿蒙系统进行了初步的尝试使用.系统定位HarmonyOS是一款“面向未来”、面向全场景（移动办公、运动健康、社交通信、媒体娱乐等）的分布式操作系统。在传统的单设备系统能力的基础上... 查看详情
小怪狐区块链游戏系统开发
...络零售模式、“一站式”旅游在途体验、数字化网络空间学习环境、普惠化在线医疗服务、智能化在线养老体验、无时空的网络社交娱乐环境将全面点亮智慧地球，开启人类智慧生活新时代，将极大地促进国家、区域、 查看详情
深度优先搜索思想初体验
1、求数字1~n的全排列importjava.util.Scanner;publicclassPermutation{//求数字1~n的全排列； int[]array; int[]book; intn; publicvoidpermutation(intstep){//深度优先搜索思想； if(step==n+1){ for(inti=1;i<=n;i++){ System.ou 查看详情