关键词：
标签（空格分隔）： 大数据运维专栏
一：datasophon 的介绍
1.1 datasophon 的介绍
DataSophon是近日开源的一款国产自研大数据管理平台，致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力，帮助你快速构建起稳定、高效的大数据集群服务。
主要有以下特性:
极易部署，1小时可完成300节点的大数据集群部署
国产化兼容，兼容ARM服务器和常用国产化操作系统
监控指标全面丰富，基于生产实践展示用户最关心的监控指标
灵活便捷的告警服务，可实现用户自定义告警组和告警指标
可扩展性强，用户可通过配置的方式集成或升级大数据组件
datasophon 的官网
https://datasophon.github.io/datasophon-website/
1.2 datasophon 的架构
参考资料：
https://github.com/datasophon/datasophon
1.3 datasophon 封装大数据组件的版本
各集成组件均进行过兼容性测试，并稳定运行于300+个节点规模的大数据集群，日处理数据量约4000亿条。
在海量数据下，各大数据组件调优成本低，平台默认展示用户关心和需要调优的配置。
二：datasophon 的部署安装
2.1 系统安装介绍
操作系统：
centos7.9x64
主机名：
cat /etc/hosts
----
172.16.10.11 flyfish11
172.16.10.12 flyfish12
172.16.10.13 flyfish13
172.16.10.14 flyfish14
172.16.10.15 flyfish15
172.16.10.16 flyfish16
172.16.10.17 flyfish17
-----
本次安装前 4台虚拟机 （flyfish11/flyfish12/flyfish13/flyfish14）
flyfish11 做主节点 其它做worker从节点
DDP部署包下载地址：
参考官网下载
2.2 系统初始化
2.2.1 关闭 firewalld，iptables 与 selinux
所有节点都要配置：
yum install -y firewall* iptable*
(1) 关闭firewalld
systemctl stop firewalld.service
systemctl disable firewalld.service
firewall-cmd --state
(2) 关闭iptables
iptables -F
systemctl stop iptables.service
service iptables save
systemctl disable iptables.service
(3) 禁用 selinux
sed -i /SELINUX/s/enforcing/disabled/ /etc/selinux/config
setenforce 0
getenforce 0
sestatus
重启机器
reboot
2.2.2 无密钥登录配置
做root用户无密钥认证
ssh-keygen ---一直敲回车到最后
cat id_rsa.pub >> authorized_keys
chmod 600 authorized_keys
将所有的公钥导入authorized_keys 分发到 所有的 机器的.ssh/ 下面
然后测试
2.2.3 所有机器更改CentOS7.9x64的文件句柄数
vim /etc/security/limits.conf
---
* soft nofile 65535
* hard nofile 1029345
* soft nproc unlimited
* hard nproc unlimited
* soft memlock unlimited
* hard memlock unlimited
---
2.2.4 时间同步
所有机器 yum install chrony*
1. flyfish11--flyfish14 同步阿里云的时间服务器:
vim /etc/chrony.conf 增加
----
注释掉相关默认的server
server ntp1.aliyun.com prefer
service chronyd start
chkconfig chronyd on
service chronyd stop
service chronyd start
chkconfig chronyd on
2.2.5 安装MySQL 5.7
wget http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm
yum -y install mysql57-community-release-el7-11.noarch.rpm
yum -y install mysql-server --nogpgcheck --nogpgcheck #不校验数字签名
启动MySQL
service mysqld start
chkconfig mysqld on
service mysqld status
cat /var/log/mysqld.log |grep password
初始化MySQL：
set global validate_password_policy=0;
set global validate_password_length=1;
set password = password("flyfish225");
flush privileges;
GRANT ALL PRIVILEGES ON *.* TO root@%IDENTIFIED BY flyfish225 WITH GRANT OPTION;
flush privileges；
打开my.cnf：vim /etc/my.cnf
在[mysqld]下添加：disable_ssl=skip_ssl
重启MySQL：systemctl restart mysqld.service
创建datasophon数据库相关：
mysql -uroot -pflyfish225
set global validate_password_policy=0;
set global validate_password_length=1;
CREATE DATABASE IF NOT EXISTS datasophon DEFAULT CHARACTER SET utf8;
grant all privileges on *.* to datasophon@"%" identified by datasophon with grant option;
GRANT ALL PRIVILEGES ON *.* TO datasophon@%;
FLUSH PRIVILEGES;
2.2.6 安装 nginx
yum -y install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel
wget https://nginx.org/download/nginx-1.22.0.tar.gz
Nginx编译安装步骤
tar -zxvf nginx-1.22.0.tar.gz
cd nginx-1.22.0
./configure
make
make install
启动nginx
cd /usr/local/nginx/
sbin/nginx
三： 安装 datasophon
3.1 datasophon 安装软件准备
安装软件准备：
DDP-1.0.0
安装目录
mkdir -p /opt/datasophon/DDP/packages
将DDP-1.0.0目录下的文件下载并上传到/opt/datasophon/DDP/packages目录下：
cd /root/software/datasophon/DDP-1.0.0
cp -ap * /opt/datasophon/DDP/packages/
datasophon-manager-1.0.0.tar.gz上传到服务器，
并解压到/opt/datasophon目录下（该目录可自行选择），
datasophon-manager目录结构如下所示：
cd /root/software/datasophon
tar -zxvf datasophon-manager-1.0.0.tar.gz
mv datasophon-manager-1.0.0 /opt/datasophon/
导入datasophon-manager安装根目录下sql文件夹下datasophon-1.0.0.sql文件，创建数据表：
mysql -uroot -p flyfish225
use datasophon;
source /opt/datasophon/datasophon-manager-1.0.0/sql/datasophon-1.0.0.sql;
show tables;
蒋dist 移动到nginx 默认目录下面
cd /root/software/datasophon
mv dist.zip /usr/local/nginx/
cd /usr/local/nginx/
unzip dist.zip
nginx 配置文件准备：
cd /usr/local/nginx/conf/
cp -ap nginx.conf nginx.conf.bak
vim nginx.conf
--------
#user nobody;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events
worker_connections 1024;
http
include mime.types;
default_type application/octet-stream;
#log_format main $remote_addr - $remote_user [$time_local] "$request"
# $status $body_bytes_sent "$http_referer"
# "$http_user_agent" "$http_x_forwarded_for";
#access_log logs/access.log main;
sendfile on;
#tcp_nopush on;
#keepalive_timeout 0;
keepalive_timeout 65;
#gzip on;
server
listen 8888;# 访问端口(自行修改)
server_name localhost;
#charset koi8-r;
#access_log /var/log/nginx/host.access.log main;
location /
root /usr/local/nginx/dist; # 前端解压的 dist 目录地址(自行修改)
index index.html index.html;
location /ddh
proxy_pass http://172.16.10.11:8081; # 接口地址(自行修改)
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header x_real_ipP $remote_addr;
proxy_set_header remote_addr $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_http_version 1.1;
proxy_connect_timeout 4s;
proxy_read_timeout 30s;
proxy_send_timeout 12s;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html
root /usr/share/nginx/html;
# another virtual host using mix of IP-, name-, and port-based configuration
#
#server
# listen 8000;
# listen somename:8080;
# server_name somename alias another.alias;
# location /
# root html;
# index index.html index.htm;
#
#
# HTTPS server
#
#server
# listen 443 ssl;
# server_name localhost;
# ssl_certificate cert.pem;
# ssl_certificate_key cert.key;
# ssl_session_cache shared:SSL:1m;
# ssl_session_timeout 5m;
# ssl_ciphers HIGH:!aNULL:!MD5;
# ssl_prefer_server_ciphers on;
# location /
# root html;
# index index.html index.htm;
#
#
-----
cd /usr/local/nginx
sbin/nginx -t
sbin/nginx -s reload
ps -ef |grep nginx
netstat -nultp |grep 8888
修改数据库配置
cd /opt/datasophon/datasophon-manager-1.0.0/conf
vim application.yml # 主要修改url和password的值
----
spring:
datasource:
type: com.alibaba.druid.pool.DruidDataSource
url: jdbc:mysql://172.16.10.11:3306/datasophon?useUnicode=true&characterEncoding=utf-8
username: datasophon
password: datasophon
driver-class-name: com.mysql.jdbc.Driver
----
mysql -h172.16.10.11 -udatasophon -pdatasophon
3.2 启动datasopohon 服务
cd /opt/datasophon/datasophon-manager-1.0.0
sh bin/datasophon-api.sh start api #启动
sh bin/datasophon-api.sh stop api #停止
sh bin/datasophon-api.sh restart api #重启
3.3 访问页面配置
访问页面
登录 http://172.16.10.11:8888
默认用户名和密码为admin/admin123
安装：
创建集群
组件版本
3.4 创建集群
进入
配置集群
主机验证
主机分发：
主机分发完成
初始化安装监控组件 三个： AlertManager，Grafana和Prometheus三个组件
DataSophon需要依赖此三个组件实现系统监控告警管理。
分配节点
worker 节点
告警目录配置与端口
告警配置与端口
监控配置完成
进入集群
进入查看总览
主机状况
告警管理
告警指标管理
部署zookeeper
安装HDFS服务
选择HDFS，点击【下一步】。
安装YARN
选择YARN，点击【下一步】。
安装hive
mysql -uroot -pflyfish225
# mysql -uroot -pflyfish225
mysql> create database hive character set utf8;
mysql> grant all privileges on hive.* to hive@% identified by hive with grant option;
mysql> grant all privileges on hive.* to hive@flyfish11 identified by hive with grant option;
mysql> flush privileges;
依次部署其它大数据组件，由于开的是虚拟机配置有所不够，就不按安装其它组件
datasophon 目前只能用于尝试部署大数据组件，很多功能并不完善。生成慎用。
linux企业运维——hadoop大数据平台（上）hadoop工作原理部署资源管理器yarn(代码片段)
Linux企业运维——Hadoop大数据平台（上）Hadoop工作原理、部署、资源管理器Yarn文章目录Linux企业运维——Hadoop大数据平台（上）Hadoop工作原理、部署、资源管理器Yarn一、Hadoop简介1.1、Hadoop框架与模块1.2、Hadoop工作... 查看详情
大数据平台部署（大一专业笔记）(代码片段)
一、虚拟机安装和克隆二、网络配置（虚拟网卡）前提：自己的电脑要连上网络1.打开高级网络配置，启用VMnet8 2.cmd-输入ipconfig查看VMnet8IPv4地址前三位（框起部分）子网掩码默认网关<1> 默认网关<1&... 查看详情
kali上部署dvwa漏洞测试平台(代码片段)
...vwa安装包并解压二、赋予dvwa文件夹相应权限三、配置Mysql数据库四、启动apache2和mysql服务五、在网页配置dvwa六、登陆到DVWA 一.获取dvwa安装包并解压1.从Github获取dvwa压缩包：wgethttps://github.com/ethicalhack3r/DVWA/archive/master.z 查看详情
1cm+cdh构建企业级大数据平台部署基础环境的安装(代码片段)
一、台安装部署前各项准备 1、安装centos7系统，这个我在vmware里面安装的，具体怎么装这里就不多讲了，我建议安装桌面 查看详情
linux企业运维——hadoop大数据平台（下）hdfs高可用yarn高可用hbase高可用(代码片段)
Linux企业运维——Hadoop大数据平台（下）hdfs高可用、Yarn高可用、hbase高可用文章目录Linux企业运维——Hadoop大数据平台（下）hdfs高可用、Yarn高可用、hbase高可用一、Hadoop高可用1.1、zoomkeeper集群部署1.2、hdfs高可用1.... 查看详情
apachesuperset——开源的大数据探索分析可视化报表平台(代码片段)
目录1.需求背景1.1大数据可视化面临的挑战1.2大数据数据可视化的目标架构2.ApacheSuperset简介2.1ApacheSuperset是什么？2.2为什么选ApacheSuperset？2.3对比Metabase3.快速上手4.部署安装4.1部署方式及版本4.2配置需求4.3下载安装4.3安装... 查看详情
linux企业运维——hadoop大数据平台（上）hadoop工作原理部署资源管理器yarn(代码片段)
Linux企业运维——Hadoop大数据平台（上）Hadoop工作原理、部署、资源管理器Yarn文章目录Linux企业运维——Hadoop大数据平台（上）Hadoop工作原理、部署、资源管理器Yarn一、Hadoop简介1.1、Hadoop框架与模块1.2、Hadoop工作... 查看详情
linux企业运维——hadoop大数据平台（下）hdfs高可用yarn高可用hbase高可用(代码片段)
Linux企业运维——Hadoop大数据平台（下）hdfs高可用、Yarn高可用、hbase高可用文章目录Linux企业运维——Hadoop大数据平台（下）hdfs高可用、Yarn高可用、hbase高可用一、Hadoop高可用1.1、zoomkeeper集群部署1.2、hdfs高可用1.... 查看详情
如何优雅部署openstack私有云i--kolla(代码片段)
为方便大数据平台与管理工具的研发，在公司成本不额外增加的情况下，从公司仓库里拉了几台下线物理机来做大数据平台的实验环境。但整体物理机性能都偏高，单独安装一个大数据服务，很豪，但是... 查看详情
微服务架构-离线部署k8s平台并部署测试实例(代码片段)
一般在公司部署或者真实环境部署k8s平台，很有可能是内网环境，也即意味着是无法连接互联网的环境，这时就需要离线部署k8s平台。在此整理离线部署k8s的步骤，分享给大家，有什么不足之处，欢迎指正。1、准备环境这次离... 查看详情
cdh大数据平台17clouderamanagerconsole之sentry权限hive测试(markdown新版)(代码片段)
...己作战💯作者简介：CSDN@博客专家、CSDN@大数据领域优质创作者、CSDN@内容合伙人、阿里云@专家博主🆘希望大佬们多多支持，携手共进📝如果文章对你有帮助的话，欢迎评论💬点赞👍... 查看详情
oracle11部署实践(代码片段)
1概述Oracle作为功能最强大的商业关系型数据库，一直占领着市场领导者的地位。前段时间传出来oracle中国裁员近千人，但是依然改变不了oracle作为数据库老大的地位。Oracle相比于开源数据库，其在稳定性，可靠性和安全性是最... 查看详情
mapreduce的思想(代码片段)
项目实战案例：搜狗日志查询分析数据：一、电商大数据平台整体架构1、大数据（Hadoop、Spark、Hive）都是一种数据仓库的实现方式核心问题：数据存储、数据计算什么是数据仓库？传统的解决大数据的方式，就是一个数据库一... 查看详情
docker容器部署sqlserveralwaysonag(代码片段)
...#xff0c;它开始支持Linux和Container平台上的HA/DR、Kubernetes和大数据集群解决方案。今天我们就直接测试，使用容器构建 SQLServerAlwaysOnAG，这对于学习 AlwaysOnAG的同学来说，是不错的选择。容器可以使用更少的资源 查看详情
大数据flink进阶：flink集群部署(代码片段)
文章目录一、Standalone集群部署1、节点划分2、standalone集群部署3、任务提交测试二、FlinkOnYarn1、Flink不同版本与Hadoop整合2、FlinkonYarn配置及环境准备3、任务提交测试Flink的安装和部署主要分为本地（单机）模式和集群模式&... 查看详情
sonic开源移动端云真机测试平台-windows系统下的sonic快速部署演示(代码片段)
Sonic开源移动端云真机测试平台快速部署演示第一章：Sonic平台的准备工作与快速部署①Docker的安装②MySQL的安装③docker-compose.yml文件配置④Sonic服务快速部署⑤配置文件docker-compose.yml更新方法⑥成功部署效果展示第二章：... 查看详情
sonic开源移动端云真机测试平台-windows系统下的sonic快速部署演示(代码片段)
Sonic开源移动端云真机测试平台快速部署演示第一章：Sonic平台的准备工作与快速部署①Docker的安装②MySQL的安装③docker-compose.yml文件配置④Sonic服务快速部署⑤配置文件docker-compose.yml更新方法⑥成功部署效果展示第二章：... 查看详情
大数据hadoop之——clouderahadoop（cm6.3.1+cdh6.3.2环境部署）(代码片段)
...oopClouderaHadoop（CDH）2）CDH特点灵活性——存储任何类型的数据并使用各种不同的计算框架对其进行操作，包括批处理，交互式SQL，自由文本搜索，机器学习和统计计算。集成——在完整的Hadoop平台上快速启动并运行，该平台可与... 查看详情