正文 

当前位置： 首页 > 程序 > java教程

重回coding时代sparkhadoopwinutils报错

howlprowler howlprowler     2023-03-08     528

关键词：

重回coding时代

SparkSession spark = SparkSession.builder()
                .appName("LinearRegression")
                .master("local[*]")
                .getOrCreate();

报错如下

java.io.IOException: Could not locate executable null\\bin\\winutils.exe in the Hadoop binaries.
    at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:278)
    at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:300)
    at org.apache.hadoop.util.Shell.<clinit>(Shell.java:293)
    at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:76)
    at org.apache.hadoop.mapred.FileInputFormat.setInputPaths(FileInputFormat.java:362)
    at <br>org.apache.spark.SparkContext$$anonfun$hadoopFile$1$$anonfun$33.apply(SparkContext.scala:1015)
    at org.apache.spark.SparkContext$$anonfun$hadoopFile$1$$anonfun$33.apply(SparkContext.scala:1015)
    at <br>org.apache.spark.rdd.HadoopRDD$$anonfun$getJobConf$6.apply(HadoopRDD.scala:176)
    at <br>org.apache.spark.rdd.HadoopRDD$$anonfun$getJobConf$6.apply(HadoopRDD.scala:176)<br>
    at scala.Option.map(Option.scala:145)<br>
    at org.apache.spark.rdd.HadoopRDD.getJobConf(HadoopRDD.scala:176)<br>
    at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:195)<br>
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239)<br>
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237)<br>
    at scala.Option.getOrElse(Option.scala:120)<br>
    at org.apache.spark.rdd.RDD.partitions(RDD.scala:237)<br>
    at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:35)<br>
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239)<br>
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237)<br>
    at scala.Option.getOrElse(Option.scala:120)<br>
    at org.apache.spark.rdd.RDD.partitions(RDD.scala:237)<br>
    at org.apache.spark.SparkContext.runJob(SparkContext.scala:1929)<br>
    at org.apache.spark.rdd.RDD.count(RDD.scala:1143)<br>
    at com.org.SparkDF.FrameDemo$.main(FrameDemo.scala:14)<br>
    at com.org.SparkDF.FrameDemo.main(FrameDemo.scala)<br>

解决方法：

  1. Download winutils.exe and hadoop.dll in your windows machine. https://github.com/steveloughran/winutils.

  1. create folder C:\\hadoop\\bin

  1. Copy winutils.exe and hadoop.dll in newly created hadoop folder C:\\hadoop\\bin

  1. 设置 HADOOP_HOME environment variable on the OS level or programmatically:

设置环境变量HADOOP_HOME=C:\\hadoop

或者代码System.setProperty("hadoop.home.dir", "C:\\\\hadoop");

有问题call我

：旅行重回全球时代主题构建“创新与传承”大场景

近日，在“防疫二十条”等最新措施基础上，国内多地宣布优化调整防疫措施，旅游市场复苏节奏也有望加速推进。12月2日，携程集团在澳门举办“与时·聚进”2022全球合作伙伴峰会。携程集团联合创始人、董事... 查看详情

：旅行重回全球时代主题构建“创新与传承”大场景

...#xff0c;约占所有国家的45%。从全球视角来看，旅行已经重回时代主题。梁建章在大会上分享了一个观点：生命的意义在于创新与传承，而旅行因其推动沟通交流、激发思维碰撞的自然属性，正是创 查看详情

未来是html5还是flash的时代？

...煌，在它的生命周期里从未真正赢得移动领域。HTML5已经重回轨道，未来取胜的关键则在移动领域。虽然HTML5已经重回轨道，但要达到高度完善的技术普及状态，它必须进行几方面的突破。Flash已经 查看详情

重回：类，对象，方法，属性

 类：是抽象的东西，eg：Human对象：具体的，eg：Chinese方法：对象具有的能力（函数），eg：Chinese.eat（）属性：属性是类的一个变量，eg：public class a publicclassa{publicstringa;publicintb;}  查看详情

重回js--立即执行函数

　　公司换了新领导，对调休请假控制很严格，就算没工作也不能请假回家过年，我只申请了3天调休。为了不用大过年返程回来上班，年前要坚守到最后一天了。想到三十要在北京机场过夜，真是心塞塞。所以为啥不再努力点... 查看详情

重回oi的第一篇博客(代码片段)

太久没学OI了，代码都不会写了，先写一篇BFS练练手，是我太菜了qwq#include<cstdio>#include<queue>#include<iostream>#include<cstring>usingnamespacestd;structnode intx,y,step;;queue<node>q;chara[21][21 查看详情

重回博客谈一谈node中的异步和单线程

     重回博客，这个帐号之前注册后就只发了一篇博客。听朋友建议，决定一周两次更新。     第一篇谈论一下最近想的比较多的异步的问题。 传统多线程异步     传统... 查看详情

十年之后重回校园

曾经有过假设，如果重读一次大学你该如何面对？那流光溢彩的四年青春岁月，我想每个人都有自己的答案。但没想到，这样的机会真的来了！因为工作的变动，我需要到航大培训学习一年。意味着我即将告别已经奋斗了六年的... 查看详情

休假结束，linus重回内核开发岗位

在休假反省一个多月之后，LinusTorvalds又回来了。10月22日爱丁堡举行的欧洲开源峰会上，LinusTorvalds将与内核维护者们碰头，这是他重新接管Linux内核开发的第一步。一个多月前，Torvalds在一份关于Linux内核邮件列表（LKML）的说明... 查看详情

1月房地产企业销售top100出炉万科重回第一

1月房地产企业销售TOP100出炉万科重回第一2017-02-0507:40:32 来源：腾讯新闻 责任编辑：[摘要]TOP100房企1月的销售金额合计4311.8亿元，销售面积合计3648.1万平方米，环比2016年12月分别下降了19%和12%点击图片进入下一页点击图... 查看详情

重回童年的经典系列|《保卫萝卜》来了，你还记得它吗？复刻源码+解析@怀旧的你

查看详情

联想重回聚光灯下，对国产品牌应该是好事

...了一些风波，不过近期不少正面消息显示联想公司正重回聚光灯下，这对于国产品牌来说应该是好事，这也让各方重新审视中国品牌。业界重视核心技术，这让那些重视核心技术研发的企业和品牌都得到了极高的... 查看详情

重构连接，分销商如何重回生态圈核心

分销商的数字化转型，注定没多少人关心。我们手里的笔记本电脑、数据中心里的服务器，背后都有IT分销商的一份功劳，如果他们加入数字化转型的行列，可能会使这些产品降价1%。但遗憾的是，这始终是一个小众话题。纷享... 查看详情

小米后劲不足了？q3全球手机销量出炉：苹果重回第二

...据，三星以23%的份额位居第一，苹果以15%的份额重回第二，小米亿14%的份额位列第三，vivo和OPPO份额均为10%。今年第三季度，全球手机销量同比下降6%，三星能够稳住23%的市场份额，说明销量下降不多&#x 查看详情

纳德拉再造微软：如何重回第一阵营？

链接：https://news.cnblogs.com/n/602945/有人说，现在的美国硅谷充满了“咖喱味”。也有人说，硅谷已经变成“印度谷”。原因就在于，以微软CEO萨提亚·纳德拉、谷歌CEO桑达尔·皮查伊为代表的印度人，近年以来掌控了全世界最令人... 查看详情

讲“格调”的大疆，能否重回高增长？

文|智能相对论（aixdlun）作者|XL1.从飞在天上，到落地造车现阶段的“无人机一哥”大疆，身上贴着一个鲜明的关键词——求变。经过了几年的默默折腾，“神秘项目”大疆车载终于浮出水面。倒不是说造无人... 查看详情

重回童年4399|黄金矿工游戏制作+解析

黄金矿工前言黄金矿工小游戏，想必只要是能刷到这篇博客的，无一例外都玩过这款游戏。4399的经典之作然我们先看一下效果图这个游戏的逻辑也非常的简单，如果你在规定的时间内尽可能多地收集昂贵的金块，... 查看详情

重回童年4399|黄金矿工游戏制作+解析

黄金矿工前言黄金矿工小游戏，想必只要是能刷到这篇博客的，无一例外都玩过这款游戏。4399的经典之作然我们先看一下效果图这个游戏的逻辑也非常的简单，如果你在规定的时间内尽可能多地收集昂贵的金块，... 查看详情