正文 

当前位置： 首页 > 技术 > java教程

yarn安装和使用(代码片段)

gwyy gwyy     2023-04-26     608

关键词：

简介

Yet Another Resource Negotiator ,负责整个集群资源的调度，和管理，支持多框架资源统一调度（HIVE spark flink）

开启yarn

安装hadoop，可以看我之前的博文 这边就不讲了

编辑 etc/hadoop/mapred-site.xml: 添加如下配置

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

　　

编辑 etc/hadoop/yarn-site.xml: 添加如下配置

<configuration>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

　　

启动 RM 和 NM

Start ResourceManager daemon and NodeManager daemon:
  $ sbin/start-yarn.sh

　　

关闭Yarn

 sbin/stop-yarn.sh

　　

打开浏览器访问：http://192.168.1.100:8088/cluster

模块简介

ResourceManager (RM)

客户端提交作业到 RM, RM对应多个 NM ，RM是集群中对外提供的服务，同一时刻只有一个负责资源相关处理，客户端任务来了之后，先启动AM 然后监控AM。 并且还监控NM

ApplicationMaster(AM)

运行在NodeManager里面的，去RM里面申请资源用于在NM上启动对应的task ,每个应用程序对应一个AM.。 并且做数据的切分，为每个task向RM申请资源。并且和NM通信。

NodeManager(NM)

真正工作计算的节点，同时向RM发送心跳信息 任务执行情况。接受来自RM的请求 并且处理AM的命令。

Container

对于任务的运行抽象，一个Container既可以运行AM 也可以运行具体的 map 和 reduce

yarn的基本流程
  • client向yarn提交job，首先找ResourceManager分配资源，
  • ResourceManager开启一个Container,在Container中运行一个Application manager
  • Application manager找一台nodemanager启动Application master，计算任务所需的计算
  • Application master向Application manager（Yarn）申请运行任务所需的资源
  • Resource scheduler将资源封装发给Application master
  • Application master将获取到的资源分配给各个nodemanager
  • 各个nodemanager得到任务和资源开始执行map task
  • map task执行结束后，开始执行reduce task
  • map task和 reduce task将执行结果反馈给Application master
  • Application master将任务执行的结果反馈application manager![](./梁天的博客 _ YARN安装和使用
    技术图片

把作业提交到 yarn上面

自己的MapReduce 首先打成个jar包 传到服务器 然后执行

hadoop jar xxx.jar   me.liangtian.App    param1 param2

问题排查

我这边一直报错： **Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out. **

可能是下面几点造成的

  • 系统设置有关，文件较大，无法分配大内存
  • 机器位数是64位导致这个问题
  • /etc/hosts 里面没有配master的hostname
  • 防火墙没关
  • 临时目录问题

问题1我安装网上方法，对配置文件做了修改： vim /etc/security/limits.conf 加入 * soft nofile 102400 * hard nofile 409600 vim /etc/pam.d/login 加入：session required /lib/security/pam_limits.so但是还是没有办法解决

问题三：由于我是伪分布式，所以只要配本机就行，看了下配置了hostname

问题四：setup下看了我的防火墙，发现防火墙有两个，一个是firework一个是selinux，第一个关了，第二个没关 关了还是不行

最后发现是问题五： yarn.nodemanager.local-dirs对应的路径必须在hdfs-site.xml中的hadoop.tmp.dir路径下，否则yarn会报错找不到缓存文件 需要修改 yarn-site.xml 加上对应的文件目录

<property>
	<name>yarn.nodemanager.local-dirs</name>
	<value>hadoop.tmp.dir/nm-local-dir</value>
</property>

　　

技术图片

 

 

 

yarn安装和使用(代码片段)

...和管理，支持多框架资源统一调度（HIVEsparkflink）开启yarn安装hadoop，可以看我之前的博文这边就不讲了编辑etc/hadoop/mapred-site.xml:添加如下配置<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</v... 查看详情

yarn使用以及和npm对比(代码片段)

...重复下载。同时利用并行下载以最大化资源利用率，因此安装速度更快。超级安全。在执行代码之前，Yarn会通过算法校验每个安装包的完整性。超级可靠。使用详细、简洁的锁文件格式和明确的安装算法，Yarn能够保证在不同系... 查看详情

yarn安装与配置(代码片段)

...，之后发现yarn命令也不起作用了，经过了多次的安装和卸载yarn都没效果，最后发现一个类似的问题给我提了个醒，我试了一下解决了问题。记录一下yarn的安装、配置和遇到的问题。下载安装#全局安装n 查看详情

yarn如何全局安装命令以及和环境变量的关系(代码片段)

npm全局安装npmi-gxxxyarn全局安装yarnglobaladdxxx然而你可能会发现npm全局安装后的命令可以直接使用，而yarn却不行，这是为什么呢？我们来查看下npm和yarn的bin目录 bin是binary的缩写，意思是存放二进制可执行文件的目录，比如exe... 查看详情

yarn(代码片段)

npm和yarn的区别yarn客户端包官网地址：https://yarnpkg.com/en/docs/install#windows-stable 在win环境下使用yarn安装vue-cli 0.安装 （没装npm的时候也可以用客户端安装：https://yarnpkg.com/en/docs/install#windows-stable ）npmins 查看详情

yarn安装和配置(代码片段)

一、使用npm安装npminstall-gyarn二、查看yarn版本yarn--version三、配置淘宝源yarnconfigsetregistryhttps://registry.npm.taobao.org-gyarnconfigsetsass_binary_sitehttp://cdn.npm.taobao.org/dist/node-sass-g四、相关命令初始化yarninit//同npminit，执行输入信息后，会生... 查看详情

使用npm安装yarn(代码片段)

很多同学用惯了npm安装项目依赖，想要尝试使用yarn的命令，但是第一次使用yarn的时候，发现报错，这是什么情况呢？因为，想要使用yarn，需要首先安装yarn。那么问题来了，如何安装呢？window... 查看详情

nvm，nrm和yarn(代码片段)

nvmNodeVersionManagementnvmlist查看所有已安装的node版本nvminstall版本号安装指定版本的nodenvmuse版本号切换到指定版本号nvmproxy代理地址配置代理进行下载nrm（noderegistrymanager）使用淘宝的cnpm镜像源下载：npminstall--saveexpress--registry=https://r... 查看详情

flink-yarn安装及使用(代码片段)

Flink-Yarn安装及使用1.背景介绍独立（Standalone）模式由Flink自身提供资源，无需其他框架，这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但我们知道，Flink是大数据计算框架，不是资... 查看详情

antdesignpro安装学习(代码片段)

...理控制台的脚手架，UI是AntDesign，，框架是 AntDesignPro安装前，你的本地环境需要安装 yarn、node 和 git 一、前序准备windows下yarn安装yarn中文文档：https://yarn.bootcss.com/docs1、使用安装包安装（可以自行选择路径）... 查看详情

包管理工具yarn的使用和命令总结(代码片段)

...Npm不足的地方，提供了新的完善思路，针对如Npm安装包的速度问题，包的版本问题加以改善。所以今天我们要学习的Yarn就是用来解决这些问题的。一.Yarn简介了解前端开发的人可能会习惯于使用npm或者cnpm作为我们项... 查看详情

yarn的优势(代码片段)

...念yarn为了补足npm的缺陷而出现 二、比npm的优势1.并行安装yarn同步每个package并行安装，提高了优势2.离线模式若之前已经安装过安装包，yarn从之前的缓存中提取3.安装版本统一yarn有锁定文件(lockfile) 记录了确切被安装模块... 查看详情

yarn的安装(代码片段)

下载node.js，使用npm安装npminstall-gyarn查看版本yarn--versionyarn淘宝源安装yarnconfigsetregistryhttps://registry.npm.taobao.org-gyarnconfigsetsass_binary_sitehttp://cdn.npm.taobao.org/dist/node-sass-g 查看详情

yarn(代码片段)

...单。Yarn和npm使用相同的package.json格式，而且Yarn可以从npm安装依赖包。如果你打算在现有项目中尝试Yarn，只需执行：yarn执行yarn命令或者yarnadd<package>命令后，Yarn都会在项目根目录下生成yarn.lock文件。你无需理解此文件的具... 查看详情

yarn的使用(代码片段)

查看是否有yarnyarn-v 安装yarn在全局(默认安装的是最新版本)npminstall-gyarn 通过yarn把当前文件初始化出来一个package.jsonnpm:npminit自定义package.jsonnpminit-y默认的package.jsonyarn:yarninityarninit-y 安装包jquerynpminstalljquery@3.1.1yarnaddjqu... 查看详情

text使用npm和yarn更新包(代码片段)

查看详情

yarn管理项目(代码片段)

安装项目的全部依赖node_modulesyarn或yarninstall加载node_modules生成项目dist生成目录的前提是安装了相关的包，比如这个项目用的是taro，就要先把taro安装好（而且要版本号一致）#使用npm安装CLI$npminstall-g@tarojs/cli@1.3.25#OR使用yarn安装CLI... 查看详情

vue中使用apacheecharts（vue脚手架）(代码片段)

目录1、安装1.1、npm安装ECharts1.2、yarn安装ECharts1.3、使用国内淘宝镜像安装ECharts2、全局引入和使用2.1、引入ECharts2.2、使用ECharts3、局部引入和使用4、ECharts使用文档相关链接1、安装1.1、npm安装EChartsnpminstallecharts--save1.2、yarn安装EC... 查看详情