关键词：
HDFS 体系结构
mapreduce 体系结构和算法
haddop 集群 zookeeper 操作；
HBase 体系结构
Hive /Sqoop 体系结构和基本操作；
mapreduce 逻辑处理数据；
HDFS 存放海量数据；
结构与非结构化数据
structured data ( RDBMS ) & Untructured data (flume scribe)
HBASE ( OLTP ) 在线事务处理应用；高延迟 处理高数据量；
数据流的处理语言；
分布式的存储 分布式的计算；
小规模数据获取不适用 分布式 额外的管理消耗，（网络 IO 等）
3个版本线
HDFS 的架构
分布式文件系统
主从结构
主节点 namenode
接收用户的操作请求
维护文件系统目录结构
管理文件与block之间的关系 block与datanode 之间的关系；
从节点 datanode
存储文件
文件被分成block存储在磁盘上、block 可以存放在不同的机器上；
保障数据安全 文件有多个副本；
分块管理容易 ：移动 读取 上传都比较麻烦、划分成块 。分明别类的进行存储；
块文件64M
map Reduce
并行计算框架
也是主从结构
主节点 只有一个 JOB tracker
负责 接收客户提交的计算任务
把计算任务分给 task trackers 执行
监控 task tracker 的执行情况
从节点 task trackers
执行 job trackers 分配的计算任务；
特点吗：（分布式）
扩容能力 （Sscalable）能可靠reliably 的存储和处理前兆字节PB的数据
成本低 计算能能是通过所有的机器运行 ；关联数据 oracle 贵 成本高；
高效率 通过分发数据 可以并行的处理数据
可靠性 Hadoop 能自动的维护数据的多分副本 并且在任务失败后能够自定重新部署
Hadoop 集群的物理分布 硬件没有要求还是有网络要求 (网络 与千兆网卡 网线 千兆交换机 )
switch
datanode/Task tracker
job tracker
namenode
Client
datanode/Task Tracker
datanode/Task Tracker
master slave 跑的都有 JVM Java虚拟机
安装 本地模式 分布式模式 和 集群模式
伪分布式 ： 一台机器 上的进程
selinux 防火墙 hostname ssh jdk hadoop
启动：
可以全部启动也可以单独启动；
star-all.sh
stop-all.sh
可以单独进行启动
hadoop 启动警告；
提示配置文件 的告警的 条件语句配置；
# vi hadoop-config.sh
if [ "$HADOOP_HOME_WARN_SUPPRESS" = "" ] && [ "$HADOOP_HOME" != "" ]; then
echo "Warning: \$HADOOP_HOME is deprecated." 1>&2
echo 1>&2
可以修改配置 ： 配置条件语句不为空；
vi /etc/profile
export HADOOP_HOME_WARN_SUPPRESS=1
jps
启动验证；
启动失败： 系统没有格式化 （ bin/hadoop namenode -format ）
配置出错 （多次格式化、可以删除磁盘配置默认tmp文件）
初始化 第一次需要格式化
格式化：hadoop namenode -format
（可以删除 hadoop 目录下的tmp 文件）
关于如何在 Windows 中使用 hadoop 安装水槽的任何想法？
...08【问题描述】：我将hadoop安装在c:\\hadoop2.5.2，然后在c:\\hadop2.5.2\\apache-flume-1.6.0下解压flume二进制文件我收到如下所示的错误有什么想法吗？C:\\ha 查看详情
基础架构基础服务基础平台基础中间件等等
...。其实很多公司在起步的时候没有财力和资源建设独立的基础架构或平台架构部门，甚至运维团队都没有，但是这不妨碍我们心中有一个蓝图知道努力的方向，本文我们就简单聊聊平台架构相关的工作内容（或者说作为一个技术... 查看详情
python基础（二十）：面向对象基础
文章目录面向对象基础一、理解面向对象二、类和对象1、理解类和对象 查看详情
python基础（二十）：面向对象基础
文章目录面向对象基础一、理解面向对象二、类和对象1、理解类和对象 查看详情
前端基础进阶系列
前端基础进阶（一）：内存空间详细图解前端基础进阶（二）：执行上下文详细图解前端基础进阶（三）：变量对象详解前端基础进阶（四）：详细图解作用域链与闭包前端基础进阶（五）：全方位解读this前端基础进阶（六）... 查看详情
软件测试基础基础基础(代码片段)
计算机基础数据库的基础，熟练增删查改语句，掌握连接查询的操作技巧，Linux常见的命令，文件处理类的，日志类的相关命令接口测试模块，掌握HTTP协议、抓包工具、jmeter、postman工具的使用python脚本代... 查看详情
golang学习之路
Golang基础Golang基础之包概念Golang基础之数据类型Golang基础之流程控制Golang基础之数组Golang基础之切片Golang基础之mapGolang基础之函数Golang基础之指针Golang基础之结构体Golang基础之接口GolangWeb开发Golang其它算法 查看详情
前段基础----javascript基础
一、JavaScript概述 查看详情
计算机基础和网络基础
学习计算机的主要构成，网络协议 查看详情
java基础|debug模式及基础练习
⭐本专栏旨在对JAVA的基础语法及知识点进行全面且详细的讲解，完成从0到1的java学习，面向零基础及入门的学习者，通过专栏的学习可以熟练掌握JAVA编程，同时为后续的框架学习，进阶开发的代码能力打下坚实的基础。 查看详情
python基础（二十五）：异常处理基础知识
文章目录异常处理基础知识一、了解异常二、异常的写法1、语法 查看详情
python基础（二十五）：异常处理基础知识
文章目录异常处理基础知识一、了解异常二、异常的写法1、语法 查看详情
测试复习大纲
测试基础计算机基础HTML01HTML03HTML04软件质量LinuxLinux01Linux02数据库数据库01数据库02数据库03数据库04深入了解软件测试基础深入了解软件测试基础01深入了解软件测试基础02深入了解软件测试基础03深入了解软件测试基础04编程数据... 查看详情
uefi基础教程（零）-目录
GitHub主页UEFI基础教程（一） — 搭建UEFI开发环境UEFI基础教程（二） — 运行第一个APPHelloWorldUEFI基础教程（三） — 运行第一个PEIDriverUEFI基础教程（四） — 运行第一个DXEDriverUE... 查看详情
基础架构即代码与基础架构自动化之间的区别
】基础架构即代码与基础架构自动化之间的区别【英文标题】：DifferencebetweeninfrastructureascodewithInfrastructureautomation【发布时间】：2022-01-0500:17:36【问题描述】：我对什么是IaC感到困惑。普通自动化之间有什么区别。为什么我们必... 查看详情
java基础|java概述与基础语法案例
⭐本专栏旨在对JAVA的基础语法及知识点进行全面且详细的讲解，完成从0到1的java学习，面向零基础及入门的学习者，通过专栏的学习可以熟练掌握JAVA编程，同时为后续的框架学习，进阶开发的代码能力打下坚实的基础。 查看详情
2docker基础安装和基础使用(代码片段)
基础环境本次环境使用Centos7.x版本系统，最小化安装，系统基础优化配置请查看Centos7.x系统基础优化安装使用命令：yuminstalldocker-io-y[[email protected]~]#yuminstalldocker-io-yLoadedplugins:fastestmirrorLoadingmirrorspeedsfromcachedhostfile*base 查看详情
第二节数学基础与语言学基础
数学基础与语言学基础内容： 数学基础：概率论，（从大规模预料中统计较小的语言单位的相关的统计信息，然后运用统计推理技术计算更高一级的语言单位出现的概率） 语言学基础 实用知识统计自然语言处理的步... 查看详情