关键词：
1、离线数据分析流程
一个应用广泛的数据分析系统：“web日志数据挖掘”
1.1 需求分析
1.1.1 案例名称
“网站或APP点击流日志数据挖掘系统”。
1.1.2 案例需求描述
“Web点击流日志”包含着网站运营很重要的信息，通过日志分析，我们可以知道网站的访问量，哪个网页访问人数最多，哪个网页最有价值，广告转化率、访客的来源信息，访客的终端信息等。
1.1.3 数据来源
本案例的数据主要由用户的点击行为记录
获取方式：在页面预埋一段js程序，为页面上想要监听的标签绑定事件，只要用户点击或移动到标签，即可触发ajax请求到后台servlet程序，用log4j记录下事件信息，从而在web服务器（nginx、tomcat等）上形成不断增长的日志文件。
形如：
|
58.215.204.118 - - [18/Sep/2013:06:51:35 +0000] "GET /wp-includes/js/jquery/jquery.js?ver=1.10.2 HTTP/1.1" 304 0 "http://blog.fens.me/nodejs-socketio-chat/" "Mozilla/5.0 (Windows NT 5.1; rv:23.0) Gecko/20100101 Firefox/23.0" |
1.2 数据处理流程
1.2.1 流程图解析
本案例跟典型的BI系统极其类似，整体流程如下：
但是，由于本案例的前提是处理海量数据，因而，流程中各环节所使用的技术则跟传统BI（商业智能）完全不同，后续课程都会：
1) 数据采集：定制开发采集程序，或使用开源框架FLUME
2) 数据预处理：定制开发mapreduce程序运行于hadoop集群
3) 数据仓库技术：基于hadoop之上的Hive
4) 数据导出：基于hadoop的sqoop数据导入导出工具
5) 数据可视化：定制开发web程序或使用kettle等产品(echarts)
6) 整个过程的流程调度：hadoop生态圈中的oozie工具或其他类似开源产品
1.2.2 项目技术架构图
1.2.3 项目相关截图（感性认识）
a) Mapreudce程序运行
a) 在Hive中查询数据
a) 将统计结果导入mysql
|
./sqoop export --connect jdbc:mysql://localhost:3306/weblogdb --username root --password root --table t_display_xx --export-dir /user/hive/warehouse/uv/dt=2014-08-03 |
1.3 项目最终效果
经过完整的数据处理流程后，会周期性输出各类统计指标的报表，在生产实践中，最终需要将这些报表数据以可视化的形式展现出来，本案例采用web程序来实现数据可视化
效果如下所示：
2、推荐系统架构图
魅族推荐平台架构解析
...数据处理的模型，我们把整个流程切割成几块，离线、近线、在线部分，不同的阶段处理不同的事情，处理数据量级别及复杂度也在各阶段不断的减少. 3、推荐平台现有架构上图是推荐平台现有架构图，我们... 查看详情
推荐系统-task04前后端基础及交互(代码片段)
项目流程： 交互基本流程 本项目的前端采用基于vue框架的VantUI组件库，完成用户注册页、用户退出页、用户热门列表页、用户推荐列表页、新闻详情页等功能；后端采用Flask框架，使用MySQL、MongoDB和Redis作为... 查看详情
推荐系统推荐业务架构介绍(代码片段)
...APP海量用户与海量文章之上，使用lambda大数据实时和离线计算整体架构，利用黑马头条用户在APP上的点击行为、浏览行为、收藏行为等建立用户与文章之间的画像关系，通过机器学习推荐算法进行智能推荐1.1.2架构与... 查看详情
推荐系统推荐业务架构介绍(代码片段)
...APP海量用户与海量文章之上，使用lambda大数据实时和离线计算整体架构，利用黑马头条用户在APP上的点击行为、浏览行为、收藏行为等建立用户与文章之间的画像关系，通过机器学习推荐算法进行智能推荐1.1.2架构与... 查看详情
推荐系统-task05推荐系统流程构建(代码片段)
推荐系统基本流程：Offilne部分：主要是基于离线物料系统生成的物料画像和用户画像进行处理，为每个用户生成热门页列表和推荐页列表，并将其存储到Redis中Online部分：主要是针对不同的用户，使用不同... 查看详情
推荐系统架构图——我的软件工程概论课设
我对推荐系统很感兴趣，虽然我还是个菜鸟，对大数据了解的还不够多。但在学习之中！我相信有朝一日我会成为大数据方面的专家。 据我目前的理解，推荐系统是对客户的隐形需求进行深入的挖掘。在市面各个领域，... 查看详情
银行储蓄系统的数据流程图及实体-联系图
数据流图： 实体-联系图： 查看详情
机票预订系统的数据流程图及实体联系图
数据流图： 实体-联系图： 查看详情
b站基于iceberg的湖仓一体架构实践
背景在B站，每天都有PB级的数据注入到大数据平台，经过离线或实时的ETL建模后，提供给下游的分析、推荐及预测等场景使用。面对如此大规模的数据，如何高效低成本地满足下游数据的分析需求，一直是我们重点的工作方向。... 查看详情
hbase架构详解及读写流程原理剖析(代码片段)
1、HBase简介HBase是BigTable(架构如下图所示）的开源“山寨”版本，建立在hdfs（对应GFS）之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。HBase底层依赖于HDFS的。整体架构图如下：HBa... 查看详情
一文简单理解“推荐系统”原理及架构
本文主要介绍什么是推荐系统，为什么需要推荐系统，如何实现推荐系统的方案，包括实现推荐系统的一些常见模型，希望给读者提供学习实践参考。为什么需要推荐系统 对... 查看详情
推荐系统[八]算法实践总结v0：腾讯音乐全民k歌推荐系统架构及粗排设计
1.前言：召回排序流程策略算法简介推荐可分为以下四个流程，分别是召回、粗排、精排以及重排：召回是源头，在某种意义上决定着整个推荐的天花板；粗排是初筛，一般不会上复杂模型；精排是整个推荐环节的重中之重，在... 查看详情
实时数仓与离线数仓架构对比flink消费流程
实时数仓架构图：离线数仓：与离线数仓区别：MySQL业务数据采集改用FlinkCDC;FlinkCDC与Maxwell处理方式和Cannal一样通过监控binlog方式（行级别），而Sqoop是通过MR方式处理数据，这种方式太慢日志数据，... 查看详情
推荐系统篇--推荐系统介绍和基本架构流程
一、前述推荐系统是企业中常用的技术，所以系统的掌握推荐系统的知识是很有必要的。本专栏主要讲述手机APP下载的项目。常用的推荐方法有两个，分别是基于物品的推荐和基于用户的推荐。基于用户的推荐原理是：跟你喜好... 查看详情
推荐系统架构-(附ppt&代码）
...;行为日志-》解析/聚合-》sessionlog-》cf/用户模型系统推荐流程： &n 查看详情
javaee项目开发流程
...想要的，不过谢谢你啊，我再等等 javaee项目开发流程： 良好的架构源于规范整洁的代码编写习惯和不断日积月累的经验总结,如果你也和我一样是个喜欢总结勤于思考的人,那么你来对地方了,因为我这有东西和你分享... 查看详情
倪江利：魅族推荐平台的架构演进之路
...族推荐平台实现了在海量的数据中对算法模型进行在线及离线训练，在高并发的场景下实时进行预测为用户推荐更感兴趣的信息。同时支撑多算法组合A/B测试，以供算法进行在线实验，并能在线进行动态机器资源分配以达到资源... 查看详情
推荐系统[八]算法实践总结v0：腾讯音乐全民k歌推荐系统架构及粗排设计
1.前言：召回排序流程策略算法简介推荐可分为以下四个流程，分别是召回、粗排、精排以及重排：召回是源头，在某种意义上决定着整个推荐的天花板；粗排是初筛，一般不会上复杂模型；精排是整个推荐环节的重中之重，在... 查看详情