datasophon——国产开源大数据管理运维平台

author author     2023-03-09     478

关键词:

1、DataSophon是谁开源的?

国内某大厂

2、DataSophon想干嘛?

致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力,帮助您快速构建起稳定,高效的大数据集群服务。

3、DataSophon是什么?

DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的,帮助您快速构建起稳定,高效的大数据集群服务。

4、DataSophon都有哪些特性?

极易部署,1小时可完成300节点的大数据集群部署

国产化兼容,兼容arm服务器和常用国产化操作系统

监控指标全面丰富,基于生产实践展示用户最关心的监控指标

灵活便捷的告警服务,可实现用户自定义告警组和告警指标

可扩展性强,用户可通过配置的方式集成或升级大数据组件

5、DataSophon架构图

DataSophon——国产开源大数据管理运维平台_重启

6、DataSophon架构简介

集群分为三大部分:管理节点、工作节点、监控

管理节点负责管理工作节点、工作节点上部署组件、负责任务执行

运维监控体系是独立的,通过prometheus+exporter采集组件状态参数,grafana负责运维可视化,通过alertmanager进行告警,这一套是现在主流的采集、存储、可视化、告警的,每一步都是单独的

管理员和运维人员通过管理节点实现节点上下线、扩容等

集群部署维护节点的元数据存储在mysql中,所以兼容jdbc协议,也可以用其他数据库替换mysql

7、DataSophon可以集成哪些组件?

DataSophon——国产开源大数据管理运维平台_大数据_02

8、搭建和环境依赖?

首先DataSophon是一套自动化运维搭建平台,集成服务是jar包形式,目前目录中列出的组件,提供好了对应的jar包,相当于jar包仓库,按照要求放在对应的目录中,搭建分布式服务时通过jar包分发的形式进行,然后调用os,进行解压,修改配置等操作。

基于上述,在服务集成上相对于cdn,hdp很方便。

9、rpc技术选型?

管理端与工作端通信选择akka框架。选型依据如下:

(1)Actor并发模型,支持协程,比线程小很多,高并发性能高。

(2)非常轻量的事件驱动处理机制(1GB内存可容纳约270万个Actor)。

(3)可以以jar包形式集成到现有框架,简洁易用,无其他依赖。

(4)具备容错机制,允许在Actor出错时进行一些恢复或者重置操作。

(5)消息传递支持exactly once。

(6)相对于netty,学习成本,使用成本更低。

10、当前版本能做的事?

支持多集群管理。

支持配置集群管理员,集群管理员具备集群操作管理权限,普通用户只有查看权限。

支持HDFS ,YARN,Hive , Kafka , ZooKeeper,Flink , Spark 等常用大数据组件。

支持集群总览监控。

支持各服务组件总览监控。

支持服务启动,停止,重启等操作。

支持服务角色启动,停止,重启,删除等操作。

支持Yarn公平调取器管理。

支持主机管理,支持实时监控主机Cpu使用率,内存使用率,磁盘使用率等常用指标。

支持告警管理,支持自定义告警指标。

支持服务配置文件修改。

支持配置文件修改后集群服务自动检测需要重启生效的依赖服务提示。

支持各大数据服务Web UIs便捷访问。

支持在线查看服务角色日志。


国产安全自主可控it智能运维管理解决方案

...现的不安全因素。一方面,国家推行去IOE行动,大力发展国产安全领域,力求实现自主可控。另一方面,用户对网络的依赖日益提升,对网络稳定性的需求越来越高。北京智和信通作为国产化自主可控网络安全智能运维解决方案... 查看详情

智和网管平台国产化aiops智能运维建立自主可控网络安全体系

...支出流向中国本土厂商,因此,如智和网管平台SugarNMS以国产化、高拓展性为核心的智能化运维软件成为行业的前沿力量。 自主知识产权 全面深入IT国产化IT国产化体系复杂,产业链涉及网络基础设施、服务器、存储、数... 查看详情

开源交流丨一站式大数据平台运维管家chengying安装原理剖析

本期我们带大家回顾一下漫路同学的直播分享《ChengYing安装原理剖析》。本期内容多为实战演示,欢迎有兴趣的同学去B站配合视频观看,便于理解。一、ChengYing安装原理ChengYing安装主要分为下面八个模块的内容,下面为大家介... 查看详情

emr重磅发布智能运维诊断系统(emrdoctor)——开源大数据平台运维利器

大数据运维的挑战—如何保证集群稳定与运行效率企业级大数据集群通常拥有海量的数据存储、日常运算成干上万的计算任务,需要满足各类上层业务的计算需求。对于这类集群的运维往往充满着挑战:海量的数据、庞... 查看详情

开源项目丨一文详解一站式大数据平台运维管家chengying如何部署hadoop集群

...ngYing”获得直播课件视频回放:​​点击这里​​ChengYing开源项目地址:​​github​​ 丨 ​​gitee​​ 喜欢我们的项目给我们点个__STAR!STAR!!STAR!!!(重要的事情说三遍)__技术交流钉钉qun:30537511本期我们带... 查看详情

一篇运维老司机的大数据平台监控宝典-联通大数据集群平台监控体系进程详解

...知道ganglia、nagios、zabbix、elasticsearch、grafana等组件。这些开源组件都有着深厚的发展背景及功能价值,但需要合理搭配选择,如何配比资源从而达到性能的最优,这里就体现了运维人的深厚功 查看详情

大数据运维docker搭建图数据库nebula适配国产化服务器(代码片段)

大家好,我是脚丫先生(o^^o)nebula图数据库需要搭建在国产化中标麒麟服务器,自己翻山越岭查阅官方文档,同时也在官方技术人员的耐心指导下,得到了适配国产化系统的技术路子。下面进行阐述搭建过程,... 查看详情

大数据运维大数据平台运维总结(代码片段)

大家好,我是脚丫先生(o^^o)目前自己在运维方面,主要管理着CDH平台和HDP平台,同时负责着以docker的形式进行产品的交付。文章目录0、CDH集群配置、日志、jar包以及安装目录和常用命令汇总0.1关键目录(1)开... 查看详情

平台运维岗位职责

...悉虚拟化技术(KVM/Xen/LXC等),了解OpenStack,CloudStack等云计算开源平台,了解Nginx,Nagois,Zabbix,OVS,CEPH等相关开源 查看详情

部署开源夜莺运维监控平台v3版本(代码片段)

官方地址https://github.com/didi/nightingale夜莺运维平台是滴滴开源的一个运维平台有着滴滴公司最佳实践夜莺拆成了四个子系统,分别是:用户资源中心(RDB)、资产管理系统(AMS)、任务执行中心(JOB)监控告警系统(MON)具体介... 查看详情

linux企业运维——hadoop大数据平台(上)hadoop工作原理部署资源管理器yarn(代码片段)

...的分布式文件系统GoogleFileSystemMapReduce:Google的MapReduce开源分布式并行计算框架BigTable:一个大型的分布式数据库演变关系:GFS—->HDFSGoogleMapReduce—->HadoopMapReduceBigTable—->HBasehadoop主流版本:Apache基金会hadoopCl... 查看详情

适合中小企业的自动化运维平台,代码完全开源

...。5访问测试在浏览器中输入http://localhost:80访问。—END—开源协议:AGPL3.0开源地址:https://github.com/openspug/spug 查看详情

学完linux去哪里就业比较好?

...、linux大数据工程师/云工程师(10K-30K平均薪资18K)  熟悉开源云计算和大数据平台系统,如阿里云、OpenStack、、Hadoop等  熟悉并实操过虚拟化技术VM、KVM等、MySQL数据库管理、熟悉Linux系统shell/python编程  熟悉Linux内核网络协... 查看详情

linux企业运维——hadoop大数据平台(上)hadoop工作原理部署资源管理器yarn(代码片段)

Linux企业运维——Hadoop大数据平台(上)Hadoop工作原理、部署、资源管理器Yarn文章目录Linux企业运维——Hadoop大数据平台(上)Hadoop工作原理、部署、资源管理器Yarn一、Hadoop简介1.1、Hadoop框架与模块1.2、Hadoop工作... 查看详情

linux企业运维——hadoop大数据平台(下)hdfs高可用yarn高可用hbase高可用(代码片段)

Linux企业运维——Hadoop大数据平台(下)hdfs高可用、Yarn高可用、hbase高可用文章目录Linux企业运维——Hadoop大数据平台(下)hdfs高可用、Yarn高可用、hbase高可用一、Hadoop高可用1.1、zoomkeeper集群部署1.2、hdfs高可用1.... 查看详情

国产cfd后置可视化软件都有哪些

您好,国产CFD后置可视化软件有很多,以下是其中一些:1.ParaView:ParaView是一种开源的CFD后置可视化软件,支持多种数据格式和计算平台,可以实现高效的数据处理和可视化。2.Tecplot:Tecplot是一种商业化的CFD后置可视化软件,... 查看详情

浅谈监控易运维系统在金融信创国产化中的使用

...金融IT产业标准和生态,使得金融行业IT产品和技术全面国产化,并做到完全自主可控。众所周知,金融行业是万业之本,是国家经济的命脉所在。全球国际关系错综复杂,各国之间的经济利益牵扯,彼此间的经济之战可以称得... 查看详情

《开源安全运维平台-ossim最佳实践》已经上市

《开源安全运维平台-OSSIM最佳实践》已上市       经多年潜心研究开源技术,历时三年创作的《开源安全运维平台OSSIM最佳实践》一书即将出版。该书用100多万字记录了作者10多年的OSSIM研究应用成果,重... 查看详情