关键词：
今日完成内容：学习了scala中的语法，主要知识点包括：变量的定义，数值类型，运算符，流程控制，for循环，while循环， do ... while循环,（不建议使用while和do...while，因为函数引入了外部变量），函数尤其是递归，之前学习其他语言时强调尽量少用递归操作，但是在scala中对于递归做了底层优化，所以scala中会用到大量的递归操作。
明日学习任务：学习scala中函数的使用，面向对象编程和函数式编程
2020/2/13寒假自学——学习进度报告16(代码片段)
电脑修好了，但之前落下的几天博客确实没啥补的劲头，今天先写一份报告吧。 实验内容和要求安装Flume 安装成功。使用Avro数据源测试Flume配置文件 启动flumeagenta1创建指定的日志文件客户端传输传输完成&nbs... 查看详情
2020/2/1寒假自学——学习进度报告8(代码片段)
开始尝试sparkSQL的尝试编程。 SparkSQL总体来说就是spark中的hive，但麻烦的一点是spark官网下载的并不自带对hive的支持，所以不能使用外部的hive。之后解决。 所以这次主要关注dataframe的编程。 首先创建了一个json文... 查看详情
2020寒假学习进度报告6(代码片段)
1.计算级数 请用脚本的方式编程计算并输出下列级数的前n项之和Sn，直到Sn刚好大于或等于q为止，其中q为大于0的整数，其值通过键盘输入。 例如，若q的值为50.0，则输出应为：Sn=50.416695。请将源文件保存为exerci... 查看详情
2020/2/2寒假自学——学习进度报告9
因为想要通过hive作为数据库来保存爬取后和处理完成的数据，需要添加spark的hive支持，这方面还没编译完，所以今天暂时没有这方面的进度，所以写写SparkSteaming。 数据的价值随着时间的流逝而减少 这也正是MapReduce... 查看详情
2020/1/24寒假自学——学习进度报告5
接下来要写4篇的进度报告，准备把RDD编程和SparkSQL放在这几天一起弄掉（没回老家的大年三十稍微有些无聊）。 这一篇我想先笼统一下各方面的知识，省的有不理解的地方。 首先是RDD。 作为一个分布式的数据构... 查看详情
2020/1/18寒假自学——学习进度报告2
写博客是时隔两天，但学习并没有停止。 这一篇博客还是写一下关于Spark基础知识的，上次只是总体名词的理解。Spark的核心是建立在统一的抽象RDD之上，使得Spark的各个组件可以无缝进行集成，在同一个应用程序中完成... 查看详情
2020年寒假第7次学习进度记录
当日学习内容：视频学习jQuery基础，熟悉使用AndroidStudio1.视频学习近况 继续学习jQuery基础2.AndroidStudio的使用情况 在上次安装之后，发现AndroidSDK版本没有下载完，所以今天又对其进行的完善。 查看详情
2020/1/18寒假自学——学习进度报告3(代码片段)
紧接上一次。 这次是对于spark安装的总结。 首先便是下载spark。 从官网上可以找到用户提供Hadoop环境的安装包，另外值得一提的是用户也可以无需自己安装hadoop而是选择原装包括了hadoop的安装包。 ... 查看详情
2020/1/25寒假自学——学习进度报告6(代码片段)
这篇准备尝试RDD的编程操作。 spark运行用户从文件系统中加载数据、通过并行集合（数组）创建RDD，两种都是很方便的操作方式。 应对实验，我在创建了一个文本文件。内容包括—— 之后就是尝... 查看详情
2020/1/18寒假自学——学习进度报告4(代码片段)
上次是安装完成了，这次就来试试Spark的基本操作。 首先是运行Spark自带的实例SparkPi。 在配置好环境变量的时候可以直接运行，但可以看到虽然运行成功但信息太过复杂，所以检索之后—— &n... 查看详情
2020/1/27寒假自学——学习进度报告7(代码片段)
今天想记录下如何在windows环境下远程提交代码到spark集群上面运行。 spark集群搭建环境使Linux系统，但说实在，Linux系统因为是虚拟机的缘故运行IDE并不是很舒服，想要对python进行舒适的编程操作还不是一件容易事，所以... 查看详情
寒假学习进度报告1
因为电脑装了太多软件，卡顿对操作十分不便，我决定利用假期自己装系统。 每次装系统都要花钱找电脑店，这让我一个学计算机的学生很羞耻，都不好意思说自己是软件工程的学生。 早就准备好了启动盘，用微pe... 查看详情
寒假学习进度06
日期：2020.01.26博客期：134星期日 1、Python爬取任务已经完成，包括制作网页可视化，详情请看博客：https://www.cnblogs.com/onepersonwholive/p/12229362.html！ 2、开始着手于“热词分析”方面的爬取（现在对于热词从哪里... 查看详情
2020年寒假学习进度第十天
今天主要学习了实验7Spark机器学习库MLlib编程实践，主要代码：importorg.apache.spark.ml.feature.PCAimportorg.apache.spark.sql.Rowimportorg.apache.spark.ml.linalg.Vector,Vectorsimportorg.apache.spark.ml.evaluation.MulticlassClassificationEvaluatorimportorg.apache.spark.ml.P... 查看详情
2020年寒假学习进度第十五天
python使用正则抓取数据 今天主要学习了python使用正则抓取网页数据。 首先这是正则的几个步骤：1、用importre导入正则表达式模块；2、用re.compile()函数创建一个Regex对象；3、用Regex对象的search()或findall()方法，传入想... 查看详情
2020年寒假学习进度
...sp; 由于下学期就要进行毕业设计答辩，打算这个寒假在家先继续巩固知识和学习新的技术要点，然后着力进行毕业设计的开发。 今天主要复习了一些关于javaweb的内容，总结如下：（1）WEB，也就是网页... 查看详情
2020年寒假第5次学习进度记录
当日学习内容：阅读《梦断代码》、视频学习前台技术（HTML(JSP)+CSS）1.《梦断代码》阅读近况 今天，我阅读了第9章“方法”和第10章“工程师和艺术家”。 在第9章“方法&rd... 查看详情
2020年寒假学习进度第七天
今天主要学习了spark实验四的内容，实验四主要为RDD编程，本实验的重点为两个编程题 1.编写独立应用程序实现数据去重对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一... 查看详情