es技术规划

lizherui lizherui     2023-03-22     275

关键词:

一、业务背景

es服务当前没有专门的部门负责维护和开发,交由各端自行负责维护,随着公司业务查询和统计需求非常多,会面临居多方面问题和挑战:

  • 无人(专业RD或部门)负责
    • 无专业的人进行维护,遇到问题几乎无人处理
  • 缺乏性能评估
    • 查询和统计相关语句执行无指标评价体系
  • 运维效率较低
    • 无操作友好且高效的web管理平台
  • 质量评估缺失
    • 监控报警体系不完善
  • 缺乏运维体系建设
    • 无集群性能评估和压测报告
    • 无容灾容错措施
    • 无迁移扩容方案
    • 无最佳实践(容量、集群规模、jvm配置等等)
    • 无优化方案

二、业务目标

  • 提效率降成本,web自动化运维平台建设
  • 优化性能,服务治理体系建设(SOP、调优)
  • 集群性能评估,提供性能、压测方案
  • 保障质量,监控报警、数据报表完善和SLA
  • 节约资源,进行集群规划和梳理,逐步收敛集群规模。 1.下线富余机器  2.相应机器降配置
  • 新增安全性,新增鉴权模块,实现访问隔离和安全验证
  • 索引同步保证,保证数据一致性、正确性、实时性

三、技术规划

es成果落地分期进行,每期以季度为单位,每季度都要规划具体开发和落地任务以及完成时间

一期计划:

  • 监控报警完善,报警考虑与第三方组件集成,例如运维体系、钉钉集成等
  • 优化性能,集群性能调优、部署架构调整、集群分类。
  • 建立各种SOP(安装、机器配置、jvm配置、重启、迁移、扩容等)
  • 收敛集群规模和数量,下线富余机器。例如有的节点128G根本用不了,纯属浪费资源
  • 测试方案,性能测试、功能测试、可靠性测试(各种容灾容错场景)、es版本升级与兼容性测试

二期计划:

  • 建平台,推进web自动化运维平台建设
    • 多集群管理(浏览、增减)
    • 节点管理(浏览、增减)
    • 业务接入评估公式和规范
    • 业务申请入口
    • SQL支持/统计查询性能,集成官方SQL插件

三期计划:

  • 架构升级优化,增加代理层
    • 通过代理层检索服务,实现限流,超时,重试机制
    • 大集群业务访问隔离

五、开发任务

人力需求规划:需求2人  一期计划  1人负责测试方案落地,容错容灾机制,保障集群稳定性  1人负责各种sop和演练,参与部分优化工作

 

引用博客地址:https://www.cnblogs.com/lizherui/p/12769878.html

es实战如何规划索引(代码片段)

文章目录如何去规划一个索引新建索引调整索引整个索引的调整主分片的调整副本分片数的调整删除索引和过期数据如何去规划一个索引规划索引包含如何调整索引的主分片数,副本分片数和分片存储大小,以及如何根... 查看详情

技术团队如何做技术规划?

技术团队如何做技术规划3W法则(也叫黄金圈法则):为什么要做?怎么做?做成什么样?每个团队都应该有短期、中期、长期的规划,有计划的做事情才不会迷失方向。如何才能做好技术规划呢?我们需要... 查看详情

技术管理规划-如何规划团队的架构

...标是否匹配梯队梯队代表了团队的成熟度和复原力(类似技术服务的健壮性)资源从资源的视角来看待团 查看详情

gis,gps,rs,es,ms都是啥意思

...间数据的计算机系统,是分析和处理海量地理数据的通用技术"。从GIS系统应用角度,可进一步定义为:"GIS由计算机系统、地理数据和用户组成,通过对地理数据的集成、存储、检索、操作和分析,生成并输出各种地理信... 查看详情

医疗 3D 规划软件的最佳技术 [关闭]

】医疗3D规划软件的最佳技术[关闭]【英文标题】:BestTechnologyforamedical3DPlanningSoftware[closed]【发布时间】:2009-06-2904:49:16【问题描述】:我正在寻找一款类似于http://www.materialise.com/materialise/view/en/131410-SimPlant.html的新交互式3D规划... 查看详情

关于技术规划管理架构的思考

一、关于技术规划三板斧技术规划规划分为三个部分的内容:第一部分:全局分析,这需要溯源历史,思考未来,要对未来有一定的预判。能够基于数据,基于专业,基于客户价值,同时结合公司... 查看详情

2020职业规划

...划这是我的一篇简短的个人职业规划或者接下来的目标。技术方向规划:目前自己有一定的Java开发经验,对于我来说,这些远远不够的。在将全面建成小康社会,实现百年奋斗目标的2020年。我将进一步提高我的技术能力和完善... 查看详情

职业规划--走技术方向

...自己不再迷茫,往前走!  职业领域: IT软件开发技术经理项目经理架构师?发展计划: 工作1-5年学习阶段,5年内(目前已工作满三年,再给自己两年时间),系统深入学习java,目标达到架构师水平; 工作6-10年转型阶... 查看详情

基于docker的elk高可用集群架构(代码片段)

目录一、规划1.1主机规划1.2整体架构二、部署2.1ES集群2.2Logstash分流2.3Kibana前端展示2.4Nginx反向代理2.5Zookeeper集群2.6Kafka集群2.7Filebeat轻量级数据收集引擎2.7.1架构图2.7.2部署及应用三、总结FAQ一、规划1.1主机规划ServiceVersion角色192.1... 查看详情

elasticsearch的安装部署(代码片段)

https://blog.csdn.net/lubin2016/article/details/81606753 1.elasticsearch的安装1.1集群规划上传elasticsearch的tar.gz包至规划的集群各节点的目录下(规划两个节点rc-fhcb-10-es001,rc-fhcb-10-es002),如:本项目安装在/opt/fhcb/目录下注意:建议elasticse 查看详情

信息技术开拓视野——记it战略规划与企业架构培训课程

信息技术战略规划(InformationTechnologyStrategicPlanning,ITSP)指的是在信息时代知识经济的背景下,正确的结合IT规划,整合企业的核心竞争力,在新一轮的产生、发展中取得更大的市场竞争力的规划方法。5月24日,IT战略规划与企... 查看详情

每天学习一点新技术,认真对待生活(es6中let的用法)

  每天都要进步一点点!   今天开始学习新技术ES6  什么是ES6,ES2016,ES2017?  ES6就是ES2015,也是一种泛指,指下一个新版本,从ES6开始,官方的叫法就不叫做ES6,叫做ES2015。以此类推。  ES是一个不断迭代中... 查看详情

最详细的程序员职业发展路线和规划

程序员的职业发展有几个选择:专注于技术,成为技术专家;转型到技术型销售、技术支持等;随着技术成长,从技术性管理到高级管理。这归根结底,都是以技术为基础。在扎实的技术基础上(高级软件工程师),如果有着比... 查看详情

吴永华的博客都有哪些

...业发展策略等内容,是程序员必读的书籍。3.《程序员的技术提升》:这是一本关于程序员技术提升的书,涵盖了程序员的技术提升方法、技术提升技巧、技术提升策略等内容,是程序员必读的书籍。4.《程序员的职业规划》:... 查看详情

javascriptes5/es6技术(代码片段)

查看详情

php职业发展规划和技术需求(代码片段)

阅读目录PHP职业的划分PHP爱好者PHP初级程序员技术要求一、服务器方面(linux:系统):二、web页面技术及相关三、MySQL技术四、PHP技术五、项目相关PHP中级程序员技术要求一、服务器运行系统(linux系统)二、web页... 查看详情

php职业发展规划和技术需求(代码片段)

阅读目录PHP职业的划分PHP爱好者PHP初级程序员技术要求一、服务器方面(linux:系统):二、web页面技术及相关三、MySQL技术四、PHP技术五、项目相关PHP中级程序员技术要求一、服务器运行系统(linux系统)二、web页... 查看详情

为什么说slam技术不等于智能导航?

...人进行即时定位与地图构建,或并发建图与定位。但SLAM技术并不等于智能导航。为什么这么说呢?原因如下:???SLAM技术主要是解决机器人的地图构建与即时定位,而机器人进行智能导航主要解决的是机器人与环境的自主交互,... 查看详情