正文 

当前位置： 首页 > 知识 > java教程

我的第一篇博客(代码片段)

bittli bittli     2022-12-22     732

关键词：

Hadoop的三种模式搭建

准备工作（对Linux客户机的操作）

  • 安装Linux（centOS7）

  • 关闭防火墙、IP主机名映射（vi /etc/hosts）、修改主机名（vi /etc/hostname）

  • 安装jdk

    tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module

    配置环境变量

    vi /etc/profile

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=PATH=$PATH:$JAVA_HOME/bin

使环境变量生效
source /etc/profile

Hadoop本地模式（客户机1台）

  1. 安装Hadoop

    tar -zxvf hadoop-2.8.4.tar.gz -C /opt/module

  2. 配置环境变量

    #HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.8.4/
export PATH=PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使环境变量生效
source /etc/profile

  3. 配置文件

    hadoop-en.sh

    export JAVA_HOME=/opt/module/jdk1.8.0_144

  4. Hadoop自带example程序测试

    目录/opt/module/hadoop-2.8.4/share/hadoop/mapreduce的hadoop-mapreduce-examples-2.8.4.jar

Hadoop伪分布模式（客户机1台）

  • 集群规划

    bigdata111 bigdata112 bigdata113
    HDFS NN SN DN DN DN
    YARN NM RM NM NM

    NN：NameNode DN：DataNode SN：SecondaryNameNode

    RM：ResourceManager NM：NodeManager

  • 免密码登录
    • 生成公钥和私钥 ssh-keygen -t rsa 连续三个回车
    • ssh-copy-id 主机1
    • ssh-copy-id 主机2
    • ssh-copy-id 主机3

  1. 安装Hadoop、配置环境变量

  2. 配置文件

    core-site.xml

    <!-- 指定HDFS中NameNode的地址 -->
<property>
 <name>fs.defaultFS</name>
 <value>hdfs://主机名1:9000</value>
</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
 <name>hadoop.tmp.dir</name>
 <value>/opt/module/hadoop-2.X.X/data/tmp</value>
</property>

    hdfs-site-xml

    <!--数据冗余数-->
<property>
 <name>dfs.replication</name>
 <value>3</value>
</property>

<!--secondary的地址-->
<property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>主机名1:50090</value>
</property>

<!--关闭权限-->
<property>
 <name>dfs.permissions</name>
 <value>false</value>
</property>

    yarn-site.xml

    <!-- reducer获取数据的方式 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
 <name>yarn.resourcemanager.hostname</name>
 <value>主机名1</value>
</property>

<!-- 日志聚集功能使能 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>

<!-- 日志保留时间设置7天(秒) -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>604800</value>
</property>

    mapred-site.xml

    <!-- 指定mr运行在yarn上-->
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>

<!--历史服务器的地址-->
<property>
 <name>mapreduce.jobhistory.address</name>
 <value>主机名1:10020</value>
</property>

<!--历史服务器页面的地址-->
<property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>主机名1:19888</value>
</property>

    hadoop-en.sh

    export JAVA_HOME=/opt/module/jdk1.8.0_144

  3. 格式化NameNode

    hadoop namenode -format

Hadoop全分布模式（客户机3台）

  • 三台机器：都是比伪分布模式多配置一个文件slaves
    bigdata111、bigdata112、bigdata113（自己设置的主机名）

2021-10-16我的第一篇博客——从跌倒处爬起(代码片段)

1.前言    在过去的18年不长也不短的人生旅程中，高考失利无疑是对我这个孤傲者最大的打击，加上个人情感上些许琐碎的遗憾，一度让我沉沦在痛苦与失意之中无法自拔。曾经那个自以为在峰顶睥睨的家伙如今却... 查看详情

重回oi的第一篇博客(代码片段)

太久没学OI了，代码都不会写了，先写一篇BFS练练手，是我太菜了qwq#include<cstdio>#include<queue>#include<iostream>#include<cstring>usingnamespacestd;structnode intx,y,step;;queue<node>q;chara[21][21 查看详情

我的第一篇rust博客(代码片段)

...是在一个前端的群里，群主推荐的。混群很久都没有引起我的注意，直到有一次百度了解，才发现它的魅力。而且它是WebAssembly首推的编程语言，自然有它的独特之处。rust标榜内存安全和线程安全，并且并不是虚拟机语言，不存... 查看详情

我在51的第一篇博客(代码片段)

我这个人比较恋旧，一直在网易博客发表心情。今天心血来潮，想写点什么作为记录，打开网易博客，弹出的就是网易博客迁移的通知。心里有一种如释重负，可能是我一直想换个地方重新开始，却一直找不到理由。一直对自己... 查看详情

我的第一篇博客(typescript学习笔记)

#变量类型number:数值型string:字符串boolean:布尔类型symbol:符号类型，标识唯一对象any:任意类型，---不推荐！！object:对象类型（数组，元组，类，接口，函数）代码练习letmyname:string="nike";​console.log("mynameis"+myname);​varmyage:number=25;... 查看详情

我的第一篇博客

从来没有写过博客，从今天开是争取每个月都能写点什么，锻炼一下自己。在博客园找了几篇关于写博客的文章，汇总一下，方便以后写博客的时候学习学习。[若有所悟]博客行文及排版技法博客文章排版学习 博客中排版的... 查看详情

这是我的第一篇随笔(代码片段)

Java使用mysql-jdbc连接MySQL出现如下警告：EstablishingSSLconnectionwithoutserver‘sidentityverificationisnotrecommended.AccordingtoMySQL5.5.45+,5.6.26+and5.7.6+requirementsSSLconnectionmustbeestablishedbydefaultif 查看详情

我的第一篇博客-学习书写markdown(代码片段)

Markdown学习（标题:井号+空格+标题名字回车）标题：二级标题##空格+名字三级标题###空格+名字四级标题####空格+名字五级标题#####空格+名字六级标题######空格+名字（最多到六级标题）字体左右两个星号包围代表粗体左右两边一个... 查看详情

我的第一篇博客

我的第一篇博客个人介绍我来自河南漯河，目前是洛阳师范学院的一名大一学生，我的专业是数据科学与大数据技术。我本来是想成为一名化学老师的，结果阴差阳错进了这个专业，但既来之则安之，我决心... 查看详情

我的第一篇博客--css清除浮动

第一篇博客，请大家多多指教！今天我浅谈对网页编写css中清除浮动几种方法，众所周知在网页编写中，在遇到内容左右布局时，我们必须要使用浮动才能使元素左右排列，而这时当我们需在下面的网页中继续布局时，浮动就会... 查看详情

我的第一篇博客（激动无比！！！）(代码片段)

弄一个仙女的珍珠吧（天堂珍珠）。要用二分查找。#226.仙女的珍珠题目描述（信息学竞赛班的女生都是仙女~）我有很多很多（n条）用魔法合成的珍珠项链......（其实神仙比凡人更爱美），每天起来我都要从中挑一条戴上......... 查看详情

我的第一篇csdn博客(代码片段)

...是算法工程师岗位。在对他进行电话面试以后，他给我的感觉很一般——有算法实际工作经验，但钻研不深，而且不是我最想要的slam方向。反复看他的简历，我发现了一个细节——他有CSDN和华为云社区的各种头... 查看详情

我的第一篇博客

...分享的知识，分享自己的学习成果，不断提高自我的IT水平，作为一个IT大学生，也希望能在这里开辟自己的新学府，大佬们多多关照。   来到这里的话，我也有许多目标要去实现。我的话更爱好前后端... 查看详情

“hello,myfirstblog”------第一篇博客的仪式感(代码片段)

...的博客，能够帮助到此时正在浏览博客的你！！　　这是我的第一篇博客，构思的时候，我联想起了曾经写过的第一个程序——“HelloWorld”，这两个单词，可以说是学习编程的仪式感。第一次编程有”HelloWorld“的仪式感，第一... 查看详情

floyd-例题-实现-我的第一篇博客(代码片段)

https://www.cnblogs.com/lbssxz/p/11014911.html这是网上看到的题目，以上是原博主的解答和题目来源（没找到别的题目来源）题目大意:城市交通费【问题描述】有n个城市，编号1~n。其中i号城市的繁华度为pi。省内有m条可以双向同行的高... 查看详情

我的第一篇博客——————java语言程序设计随笔

                                 &n 查看详情

我的第一篇博客

初次见面，这里是白糖拌饭从今天起我将正式加入CSDN啦万事开头难！的确，在这里敲下的每一个字符我不清楚未来会以什么样的姿态展现在大家眼前，很期待，却又有一些不自信。但每次接触新的事物都要经... 查看详情

我的第一篇博文

  从今天开始学习运维课程。学习目标：从基础、进阶、高级三段课程（3-6个月完成）。服务器集群：高性能、高并发、高可靠。本文出自“10988558”博客，请务必保留此出处http://10998558.blog.51cto.com/10988558/1975805 查看详情