关键词：
感觉今天也没整出什么大的进展，在学习eclipse编写spark程序过程中，虚拟机中因为eclipse版本号的问题安装不上spark和scala插件，鼓捣了半天也没有进展，在虚拟机中下载对应的版本因为网速过于慢最终也放弃了。最终从windows中下载了对应的eclipse版本，通过ftp传到了虚拟机中。在下载的过程中，打算通过windows中的eclipse远程连接虚拟机，但在安装插件的过程中报出了错误，搜了半天也没解决，明天继续解决。
在上述过程下载等过程中，学习了scala语言的一些知识。尽量明天完成第三个实验。
干啥啥不行的一天结束。希望明天会有好的进展。
奥
利
给
干
就
完
了
大三寒假生活5
今天继续学习了scala的相关知识。经过一下午的时间，把windows中eclipse的maven和scala插件成功安装上了，但是Linux中的eclipse却安装不上，经过查询，初步判断是eclipse的版本太低，导致maven插件安装失败。于是对Linux中的eclipse进行了... 查看详情
大三寒假生活指导
1.FTP在主机和虚拟机之间传文件。 这里需要注意的是，Linux系统对文件访问权限有着严格的规定，如果目录和文件的访问权限没有授权给某个用户，那么，该用户是无法访问这些目录和文件的。所以，当使用FileZilla连接Linux虚... 查看详情
大三寒假生活3(代码片段)
今天完成了spark实验二，花费的时间太多，没由大到预期的计划。另外打包过程中下载时候遇到链接打不开404是不影响下载的，完成打包的学习。下边是今天的实验。2， 模拟图形绘制对于一个图形绘制程序，用下面的层次对... 查看详情
大三寒假生活20
操作系统：Ubuntu17.0464位MySQL版本：MySQL5.7一、查看3306端口是否开放 netstat-an|grep3306如果看到下图这样的，说明端口并未打开： 二、修改访问权限进入目录“etc/mysql/mysql.conf.d/”，如下图所示：在这个目... 查看详情
大三上寒假15天--第5天(代码片段)
昨天的下载完成后运行报错，应该是下载的spark版本和教程不符合，然后pom.xml文件中的spark-core内容而应该不同，但是我还是用的教程导致，现在正在尝试安装教程给的网站找的内容又下载中，不知道这次又要下载多久。（我下... 查看详情
第二次工作总结
生活感想第一次开发项目感想大三上学期寒假感想个人博客项目总结大三上学期学习总结大三下学期学习总结长沙弘成实习感想第二次工作感想本文目录1.序言2.辞职之后3.来到北京4.被隔离5.隔离完6.正式上班7.爸妈离婚8.结语1.序... 查看详情
第二次工作总结
生活感想第一次开发项目感想大三上学期寒假感想个人博客项目总结大三上学期学习总结大三下学期学习总结长沙弘成实习感想第二次工作感想本文目录1.序言2.辞职之后3.来到北京4.被隔离5.隔离完6.正式上班7.爸妈离婚8.结语1.序... 查看详情
大三上寒假15天--第10天
今天继续学习webmagic爬虫技术，组件包含：1.DownloaderDownloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了ApacheHttpClient作为下载工具。2.PageProcessorPageProcessor负责解析页面，抽取有用信息，以及发现新的链接。WebMagic... 查看详情
第二次工作总结
生活感想第一次开发项目感想大三上学期寒假感想个人博客项目总结大三上学期学习总结大三下学期学习总结长沙弘成实习感想第二次工作感想本文目录1.序言2.辞职之后3.来到北京4.被隔离5.隔离完6.正式上班7.爸妈离婚8.结语1.序... 查看详情
寒假第三周反思
...从昨天下午开始，就开始蓝屏，说采集错误信息。我便让大三的学长帮忙修理一下，结果很麻烦。而且上网百度也不是很详细，学长说如果再次蓝屏就给我重装系统。诶，真是麻烦！电脑还是没有手机轻松 2.我从五楼调到了... 查看详情
大三上寒假15天--第11天(代码片段)
今天继续学习webmagic爬虫通过老师给的学习资料学习后，对webmagic爬虫基本有了了解，当时对site方法有点模糊，今天也终于搞明白了，感觉就像模拟了一个用户一样，对一个网站的框架还是不是很了解，所以还是不太理解，那些c... 查看详情
大三上寒假15天--第15天(代码片段)
今天webmaigic爬虫又学了一个小技巧，想要自己设计保存爬取内容形式，可以不用重写Pipeline，在process()方法中写上，你想要的保存操作，多数情况可以达到相同的效果，我的爬虫程序，想要将内容保存在一个txt中，就是这么实现... 查看详情
大三上寒假15天--第14天
今天依旧学习了webmagic爬虫，发现昨天爬取的网址不对，内容也不对，重新找了一个网址爬取，重新整理了思路，发现这个网址，分为三种类型的链接，建议，咨询和一个什么记不清了，需要先判断类型，然后才能分配Id，然后... 查看详情
大三上寒假15天--第1天
学习于林子雨《大数据技术原理与应用》教材配套大数据软件安装和编程实践指南一.安装spark第一步，spark下载（http://spark.apache.org/downloads.html） 第二步，spark压缩包解压 sudotar-zxf~/下载/spark-1.6.2-bin-... 查看详情
寒假生活1
开发MISS系统需要的技术：1、用到的软件有Eclipse，Tomcat，SQLserver等。Eclipse是一个开放源代码的基于Java的可扩展开发平台，附带了一个标准的插件集，包括Java开发工具（JDK和JavaDevelopmentKit）但只是一个框架和一组服务，用于通过... 查看详情
寒假生活
今年寒假应该是大学放假最长的假期了。考完试在学校多呆了一周才回来，从图书馆早起都抢不到座位，到整个住宿楼零星的亮着几盏灯，渐渐地看着学校一天一天没人也是一种新奇的体验啊 回来有五天了，第一天躺了... 查看详情
2020寒假生活学习日记
使用SparkShell编写代码启动SparkShell: 加载txt文件： 简单的RDD操作：//获取RDD文件textFile的第一行内容textFile.first()//获取RDD文件textFile所有项的计数textFile.count()//抽取含有“Spark”的行，返回一个新的RDDvallineWith... 查看详情
2021年总结：厚积薄发，突破自我(代码片段)
前言时光荏苒，转眼间已是大三。忙碌之后，竟又发现大三上又悄然溜走。眼看着寒假已经来临，来年春招的脚步又近了一些，既有临近实习面试的压力，也有即将步入社会的期待。在正式开始我的寒假生活... 查看详情