关键词:
今天主要研究了spark实验二的第一部分的Scala编写,看完代码后发现需要在REPL模式下运行,经过查证发现需要安装scala脚本,所以尝试在虚拟机中安装scala,成功后使用给的代码尝试运行,但是出错,提示没有找到类的定义,经过查证,发现是代码中缺少类得定义。改正后可以正常运行。
import io.StdIn._ object Test def main(args: Array[String]) var Sn:Float = 0 var n:Float=1 println("please input q:") val q = readInt() while(Sn<q) Sn+=(n+1)/n n+=1 println(s"Sn=$Sn")
第二个实验的第二个部分出现了这个unclosed string literal问题,百度上说的都是字符串不闭合,我仔细研究了一下代码,发现是闭合的,于是我把出问题的代码注释掉。尝试运行,发现可以的,而后我又去掉注释,就没问题了,代码就是这么神奇,格式也会有影响。
case class Point(var x:Double,var y:Double) extends Drawable def shift(deltaX:Double,deltaY:Double)x+=deltaX;y+=deltaY trait Drawable def draw()println(this.toString) abstract class Shape(var location:Point)//location是Shape的一个可变字段 def moveTo(newLocation:Point) //默认实现,只是修改位置 location = newLocation def zoom(scale:Double) class Line(beginPoint:Point,var endPoint:Point) extends Shape(beginPoint) with Drawable override def draw() println(s"Line:($location.x,$location.y)--($endPoint.x,$endPoint.y)") override def moveTo(newLocation:Point) endPoint.shift(newLocation.x - location.x,newLocation.y - location.y) //直线移动时,先移动另外一个端点 location = newLocation //移动位置 override def zoom(scale:Double) val midPoint = Point((endPoint.x + location.x)/2,(endPoint.y + location.y)/2) //求出中点,并按中点进行缩放 location.x = midPoint.x + scale * (location.x - midPoint.x) location.y = midPoint.y + scale * (location.y -midPoint.y) endPoint.x = midPoint.x + scale * (endPoint.x - midPoint.x) endPoint.y = midPoint.y + scale * (endPoint.y -midPoint.y) class Circle(center:Point,var radius:Double) extends Shape(center) with Drawable override def draw() println(s"Circle center:($location.x,$location.y),R=$radius") override def zoom(scale:Double) radius = radius*scale //对圆的缩放只用修改半径 object MyDraw def main(args: Array[String]) val p=new Point(10,30) p.draw; val line1 = new Line(Point(0,0),Point(20,20)) line1.draw line1.moveTo(Point(5,5)) line1.draw line1.zoom(2) line1.draw val cir= new Circle(Point(10,10),5) cir.draw cir.moveTo(Point(30,20)) cir.draw cir.zoom(0.5) cir.draw
总结:做实验时遇到问题要仔细地查询解决办法,所有问题都可以解决的。
2020年寒假学习进度第十天
今天主要学习了实验7Spark机器学习库MLlib编程实践,主要代码:importorg.apache.spark.ml.feature.PCAimportorg.apache.spark.sql.Rowimportorg.apache.spark.ml.linalg.Vector,Vectorsimportorg.apache.spark.ml.evaluation.MulticlassClassificationEvaluatorimportorg.apache.spark.ml.P... 查看详情
2020年寒假学习进度第十五天
python使用正则抓取数据 今天主要学习了python使用正则抓取网页数据。 首先这是正则的几个步骤:1、用importre导入正则表达式模块;2、用re.compile()函数创建一个Regex对象;3、用Regex对象的search()或findall()方法,传入想... 查看详情
2020年寒假学习进度第七天
今天主要学习了spark实验四的内容,实验四主要为RDD编程,本实验的重点为两个编程题 1.编写独立应用程序实现数据去重对于两个输入文件A和B,编写Spark独立应用程序,对两个文件进行合并,并剔除其中重复的内容,得到一... 查看详情
2020年寒假学习进度第六天
今天主要进行了spark实验六的学习,SparkStreaming编程初级实践Flume是非常流行的日志采集系统,可以作为SparkStreaming的高级数据源。请把FlumeSource设置为netcat类型,从终端上不断给FlumeSource发送各种消息,Flume把消息汇集到Sink,这里... 查看详情
2020年寒假学习进度第九天
今天主要解决了实验五未解决的问题,前天在做实验五spark连接mysql时出现找不到jar包的问题,看了网上的讲解,调整了一下路径,有人说jar包要放在同名的一个文件夹里,实际上jar包应该直接放在spark安装目录的jars目录下就可... 查看详情
2020年寒假第5次学习进度记录
当日学习内容:阅读《梦断代码》、视频学习前台技术(HTML(JSP)+CSS)1.《梦断代码》阅读近况 今天,我阅读了第9章“方法”和第10章“工程师和艺术家”。 在第9章“方法&rd... 查看详情
2020年寒假学习进度
...sp; 由于下学期就要进行毕业设计答辩,打算这个寒假在家先继续巩固知识和学习新的技术要点,然后着力进行毕业设计的开发。 今天主要复习了一些关于javaweb的内容,总结如下:(1)WEB,也就是网页... 查看详情
spark寒假自学第二天
首先要配置spark环境:包括linux系统的安装,java,ssh,Hadoop,Scala,spark的安装与环境变量设置。linux虚拟机、ssh、Hadoop已经安装完毕,Scala,spark还未安装然后进行java的学习,在以前的学习中java已经学习了一部分,这次还需要继... 查看详情
软件创新实验室2021年寒假集训java技术培训——java前置知识学习
系列文章目录【软件创新实验室2021年寒假集训】汇总篇20级Java培训第一天:【软件创新实验室2021年寒假集训】Java技术培训——Java前置知识学习第二天:Java基础(一)第三天:【软件创新实验室2021年寒假集... 查看详情
2020寒假学习进度报告2
今日完成内容:学习了scala中的语法,主要知识点包括:变量的定义,数值类型,运算符,流程控制,for循环,while循环,do...while循环,(不建议使用while和do...while,因为函数引入了外部变量),函数尤其是递归,之前学习其... 查看详情
寒假学习记录第二天
1.ifelse /** *ifelse */ val age =18 if (age < 18 ) println("noallow") else if... 查看详情
寒假学习进度06
日期:2020.01.26博客期:134星期日 1、Python爬取任务已经完成,包括制作网页可视化,详情请看博客:https://www.cnblogs.com/onepersonwholive/p/12229362.html! 2、开始着手于“热词分析”方面的爬取(现在对于热词从哪里... 查看详情
寒假第二天
下载完Spark后,启动sparkshell然后建在了spark自带的本地测试文件,以及简单的RDD操作和退出sparkshell并且下载了独立应用程序编程 scala独立应用编程在安装sbt中耗时很长安装的时候耗时很长,安装完成后检测sbt不可用,心... 查看详情
2020寒假学习进度报告6(代码片段)
1.计算级数 请用脚本的方式编程计算并输出下列级数的前n项之和Sn,直到Sn刚好大于或等于q为止,其中q为大于0的整数,其值通过键盘输入。 例如,若q的值为50.0,则输出应为:Sn=50.416695。请将源文件保存为exerci... 查看详情
2020/1/24寒假自学——学习进度报告5
接下来要写4篇的进度报告,准备把RDD编程和SparkSQL放在这几天一起弄掉(没回老家的大年三十稍微有些无聊)。 这一篇我想先笼统一下各方面的知识,省的有不理解的地方。 首先是RDD。 作为一个分布式的数据构... 查看详情
第二天学习进度--文本情感分类(代码片段)
昨天学习了简单的文本处理,之后在课后的练习中实现了包括了对tf-idf的处理和基于朴素贝叶斯简单的文本分类基于tf-idf的数据集在出现多个关键词的时候一般能够相对准确对文本进行分类,但是对于相对具有深层含义的内容,... 查看详情
软件创新实验室2021年寒假集训java后端开发漫谈及感悟分享
系列文章目录【软件创新实验室2021年寒假集训】汇总篇20级Java培训第一天:【软件创新实验室2021年寒假集训】Java技术培训——Java前置知识学习第二天:Java基础(一)第三天:【软件创新实验室2021年寒假集... 查看详情
2020/2/5寒假自学——学习进度报告12(代码片段)
今天主要完成了北京市政百姓信件分析实战。 Spark方面只是安装了Flume,以及尝试使用套接字流作为DSteam的数据源。 启动NetCat作为套接字的监听模式,这样在端口9999就能和spark互联。 值得一提,nc-l9999虽... 查看详情