炫“库”行动-人大金仓有奖征文-金仓数据库巡检方案

深灰涩 深灰涩     2023-01-13     331

关键词:

一.概述

为达到服务人员有效的对现场数据库环境进行管理、配置和维护,保障信息系统安全和稳定的运行以及具备日后对数据库系统风险的评估能力,推出本巡检方案。

主要目的:

  1. 了解现场硬件环境
  2. 了解操作系统环境
  3. 了解当前I/O状况
  4. 了解数据库版本以及数据库架构
  5. 了解当前数据库风险点

二.适用范围

适用于接手新项目现场或者接手他人负责的项目,尽快熟悉当前项目环境完整的信息可以快速有效完成后续的故障处理、事件跟踪和现场配合工作。

三.环境确认

  1. 数据库环境

1.1数据库运行架构

  确认当前数据库的运行架构,单机/cluster/standby/HA

    

1.2数据库安装目录

接触新的项目时,想要管理好数据库服务首先应找到数据库的安装目录。查看环境变量$KINGBASE_HOME,该环境变量在部署时也应该设置方便其他人员维护。

1.3 数据库版本

1.4 数据库data目录位置

  • 注意:目前有些项目data目录是软链接形式,需留意一下。

1.5 数据库启动时间

  •  V7版本使用select sys_kingbase_start_time()

1.6 数据库license信息

  • V8版本查看$KINGBASE_HOME/license.dat
  • V7版本查看$KINGBASE_HOME/bin/license.dat

1.7存储可用空间

 df -hT

1.8 备份文件有效性

解压备份压缩文件,查看备份日志确认当前备份有效性。

2.硬件以及操作系统

2.1操作系统类型

  • hostnamectl命令适用于所有Linux操作系统(需要3.0以上内核),查看/etc/issue、/etc/redhat-release文件等方法

2.2芯片类型 

  • 需要关注的上图标记的位置,cpu类型和CPU品牌厂家

2.3内存

2.4系统日志

四.环境检查

1.数据库

1.1检查数据库表锁信息

1.2 检查数据库链接信息

select datname,usename,client_addr,query,state,now() - query_start as time from sys_stat_activity where time > '03:00:00' and state = 'idle in transaction';

  • 该语句查询出超过3小时的长连SQL,根据情况适当处理。

1.3检查数据库当前连接数&最大连接数

 

1.4检查各数据库大小

1.5查询各个库的年龄

  • 如果age列中有超过 5亿,应立即进行事务回收。

1.6 数据库扩展插件

2.操作系统

2.1 CPU使用情况

  1. 使用top检查信息,判断资源使用情况。

2.2 内存使用情况

  • 使用free -m  检查信息,其中total为总内存量;used为使用内存量;free      为内存剩余量。

2.3 系统I/O情况

  • 如上所示,蓝色、黄色部分为磁盘读写情况,红色部分为CPU I/O等待情况。

2.4 系统是否存在僵尸进程

  • 系统所能使用的进程号是有限的,如果大量的产生僵死进程,将因为没有可用的进程号而导致系统不能产生新的进程。

2.5磁盘使用情况

2.6 inode节点信息

2.7 服务器负载

  1. 蓝色部分代表系统启动时间,红色部分代表系统的平均负载,3个地方数字正常不超10。

2.8 防火墙状态

五.性能优化

1.操作系统

1.1内核配置文件检查

1.2资源限制文件检查

1.3电源管理配置文件

  • 在centos7.2中,systemd-logind 服务引入了一个新特性,该新特性是:当一个user 完全退出os之后,remove掉所有的IPC objects。

1.4 selinux状态

1.5磁盘调度策略

  • 查看/sys/block/dm-0/queue/scheduler文件,推荐deadline

2.数据库

2.1 kingbase参数优化

cat kingbase.conf | grep -v ^# | grep -v ^$ | grep ^[a-zA-Z] | awk -F'#' 'print $1'

2.2  max_connections=1000

  • 数据库最大连接数,跟进现场需求适当调整

2.3 shared_buffers=总内存*25%

  • 数据库共享缓存,建议设置服务器内存大小的25%

2.4 work_mem=16MB

  • SQL语句在使用到排序子句的时候所使用到的最大内存

2.5 effective_cache_size=总内存*50%

  • 告知SQL优化器有多少内存可用与于磁盘缓存,不会实际分发内存。建议总内存50%

2.6 maintenance_work_mem=1GB

  • 定义的内存主要影响vacuum,analyze,create index,reindex等操作,设置越高该类命令执行速度越快。

2.7 logging_collector=on

  • 开启后进行数据库日志收集。

2.8 log_destination=’stderr’

  • 日志输出格式,三种格式stderr,csvlog,syslog。默认stderr

2.9 log_directory=’sys_log’

  • 数据库日志存放路径,默认sys_log

2.10 log_filename='kingbase-%w.log'

  • 数据库日志命令格式,常见:%w周,%d日,%m月

2.11 log_truncate_on_rotation=on

  • 设置为on的话,如果新建了一个同名的日志文件,则会清空原来的文件,再写入日志,而不是在后面追加。

2.12 log_rotation_age=1440

  • 当logging_collector被启用时,这个参数决定一个个体日志文件的最长生命期。当这些分钟过去后,一个新的日志文件将被创建。

2.13 log_rotation_size=500MB

  • 这个参数决定一个个体日志文件的最大尺寸。当这么多千字节被发送到一个日志文件后,将创建一个新的日志文件。

2.14 查看各数据库中表膨胀信息

2.15 查询大于10GB以及年龄大于5亿的表

select relname,age(relfrozenxid),sys_relation_size(oid)/1024/1024/1024.0 table_size from sys_class where relkind='r' and age(relfrozenxid)>500000000 and sys_relation_size(oid)/1024/1024/1024 > 10 order by 3 desc;

  • 项目维护计划

数据库产品维护服务,主要包括:数据库基本使用培训、常见故障处理方法培训以及对数据库的定期上门巡检服务。

系统日志、网络状况、系统空间状况、存储设备状态、系统性能、数据库各种文件的状态与配置、数据库安全审计、数据库配置的合理性、实例的运行效率等。

七.文档交付

  1. 巡检报告

定期对各项目进行的健康检查汇总的文件形式报告提供可用并归档。

  1. 事件分析报告

数据库产生故障后,对事件的整个过程记录提交用户,也方便部门后续复盘。

  1. 数据库升级方案

项目中数据库升级需要提前准备好升级方案,规划好升级步骤、思路不容易出错。所有的升级方案中必须有回退流程,再出现不可控情况时可以回退到升级前的版本。

  1. 数据库项目档案

记录数据库的详细信息如:硬件环境、数据库版本,在项目交接时应将项目信息完善归纳成文档有利于后续运维。

  1. 客户服务记录单

外出到项目现场工作结束时,需要客户或集成商签字认可我们的工作。

八.服务体系

  1. 电话支持

当发生问题时,可以提供给用户及时有效的24小时电话支持。服务人员做好客户服务需求的记录,并向用户明确服务需求的解决方式、过程和最终的解决办法。提供远程服务接入、微信和电话服务支持。

  1. 现场服务

如果用户的问题不能通过电话解决,会立刻派工程师到现场为用户解决问题,服务人员对解决的过程进行记录,并向用户提供解决问题的报告.包括问题原因、解决方法、解决问题的方式和过程,以及建议用户对系统进行正常使用的指导和培训问题解决后需要用户进行确认。

  1. 定期巡检服务

保证数据库长久稳定的运行,为项目现场制定巡检服务,每月对数据库进行一次月度巡检,每季度进行一次季度巡检,每半年进行一次半年度巡检以及每年一次的年度巡检。

炫“库”行动-人大金仓有奖征文—金仓数据库的windows安装教程

...文大赛】,活动页面链接:炫“库”行动。金仓数据库管理系统KingbaseES是北京人大金仓信息技术股份有限公司研发的一款国产数据库管理系统,它是面向事务处理类、兼顾分析类应用领域的新型数据库产品,致力... 查看详情

炫“库”行动—人大金仓有奖征文—sqllike的使用(代码片段)

👉本文正在参与炫“库”行动—人大金仓有奖征文👈通配符可用于替代字符串中的任何其他字符。一、概念MySQL中使用SQLSELECT命令来读取数据,同时我们可以在SELECT语句中使用WHERE子句来获取指定的记录。WHERE子句中... 查看详情

炫“库”行动-人大金仓有奖征文--改造tpce测试工具dbt5,提升测试结果tpse

文本正在参与【炫“库”行动—人大金仓有奖征文】,活动链接:CSDN TPCE和测试工具的介绍请参考​​​​​​炫“库”行动-人大金仓有奖征文---TPC-E测试工具osdldbt-dbt5编译和测试方法_kangming7508的博客-CSDN博客​​​​... 查看详情

炫“库”行动-人大金仓有奖征文-金仓库分析型数据库(代码片段)

金仓库活动文章目录1.你有哪些数据库sql优化经验?2.使用Redis有什么好处?3.Redis集群如何选择数据库?4.MongoDB的使用场景?5什么是MongoDB?6实践出真理,leetCode刷mysql题目的的总结。LeetCode题目1leetcode题目... 查看详情

炫“库”行动-人大金仓有奖征文,kingbasees数据库经典排障记录

最近人大金仓的KingbaseES数据库火了,作为新一代的HTAP混合负载型数据库,KingbaseES凭借着优异的性能,在国产信创数据库中独领风骚,在各方面几乎全部领先于其它对手,近年来被广泛使用。但是数据库国产... 查看详情

炫“库”行动-人大金仓有奖征文-kingbaseesv8r3读写分离集群在线扩容案例

【本文正在参与炫“库”行动-人大金仓有奖征文】CSDNhttps://marketing.csdn.net/p/98bd30353e7cb998b6070a89e8b91edb案例说明:此次测试案例用于kingbaseESV8R3读写分离集群在线扩容测试,主要分为三个步骤。1、通过sys_basebackup创建新备库... 查看详情

炫“库”行动-人大金仓有奖征文-kingbaseesv8r3读写分离集群在线扩容案例

【本文正在参与炫“库”行动-人大金仓有奖征文】CSDNhttps://marketing.csdn.net/p/98bd30353e7cb998b6070a89e8b91edb案例说明:此次测试案例用于kingbaseESV8R3读写分离集群在线扩容测试,主要分为三个步骤。1、通过sys_basebackup创建新备库... 查看详情

炫“库”行动-人大金仓有奖征文---tpc-e测试工具osdldbt-dbt5编译和测试方法

...被审核通过)。TPC-E通过模拟了证券交易公司的业务来测试数据库的OLTP性能。TPC-E测试的重点是数据库&# 查看详情

炫“库”行动-人大金仓有奖征文-kingbaseesv8r6手工创建主备流复制集群案例

【本文正在参与炫“库”行动-人大金仓有奖征文】CSDNhttps://marketing.csdn.net/p/98bd30353e7cb998b6070a89e8b91edb案例说明:  KingbaseESV8R6集群部署一般可采用图形化方式快速部署,但在生产一线,有的服务器系统未启用图形化环... 查看详情

炫“库”行动-人大金仓有奖征文-kingbaseesv8r6手工创建主备流复制集群案例

【本文正在参与炫“库”行动-人大金仓有奖征文】CSDNhttps://marketing.csdn.net/p/98bd30353e7cb998b6070a89e8b91edb案例说明:  KingbaseESV8R6集群部署一般可采用图形化方式快速部署,但在生产一线,有的服务器系统未启用图形化环... 查看详情

炫“库”行动-人大金仓有奖征文-kingbaseesv8r3读写分离集群在线扩容案例

...ase_monitor.sh一键启停。3、主备复制切换测试。操作系统和数据库版本:1)操作系统环境[kingbase@#localhost~]$cat/etc/centos-releaseCentOSLinuxrelease7.6.1810(Core) 2)数据库版本TEST=#selectversion();                     ... 查看详情

炫“库”行动-人大金仓有奖征文,内存巨页引发oom的经典案例

最近人大金仓的KingbaseES数据库火了,作为新一代的HTAP混合负载型数据库,KingbaseES凭借着优异的性能,在国产信创数据库中独领风骚,在各方面几乎全部领先于其它对手,近年来被广泛使用。但是数据库国产... 查看详情

炫“库”行动-人大金仓有奖征文-kingbaseesv8r6手工创建主备流复制集群案例

【本文正在参与炫“库”行动-人大金仓有奖征文】CSDNhttps://marketing.csdn.net/p/98bd30353e7cb998b6070a89e8b91edb案例说明:  KingbaseESV8R6集群部署一般可采用图形化方式快速部署,但在生产一线,有的服务器系统未启用图形化环... 查看详情

炫“库”行动☀️人大金仓数据库管理系统☀️-sql&jdbc&整合mybatis框架&登录注册demo实现(持续更新中......)(代码片段)

目录使用IDEA连接金仓数据库:步骤一:连接环境准备步骤二:编码测试 测试代码(概览):代码解析:连接数据基本配置信息:创建数据库连接:查询数据表中信息:使用IDEA连接金仓数据... 查看详情

炫“库”行动——超全数据库疑难知识总结(解说+案例)建议收藏!(代码片段)

...dbhttps://marketing.csdn.net/p/98bd30353e7cb998b6070a89e8b91edb目录一、数据库分析与设计 二、UML与数据库应用系统三、高级查询四、数据 查看详情

kingbase国产化数据库数据迁移:oracle11g数据库转库人大金仓数据库实例演示(代码片段)

国产化人大金仓数据库数据迁移第一章:转库前准备人大金仓数据库建库第二章:oracle转人大金仓数据库实例演示①创建迁移项目②配置迁移数据库③开始迁移第一章:转库前准备人大金仓数据库建库数据库创建过程... 查看详情

kingbase国产化数据库数据迁移:oracle11g数据库转库人大金仓数据库实例演示(代码片段)

国产化人大金仓数据库数据迁移第一章:转库前准备人大金仓数据库建库第二章:oracle转人大金仓数据库实例演示①创建迁移项目②配置迁移数据库③开始迁移第一章:转库前准备人大金仓数据库建库数据库创建过程... 查看详情

笃行致远,人大金仓荣获“2021年度卓越表现数据库”

1月21日,由墨天轮主办的“2022年新春发布会暨年度数据库颁奖盛典”成功举办,人大金仓荣获“年度卓越表现数据库”。人大金仓深耕数据库领域20余载,以卓越的技术能力打造丰富的数据库相关高性能、异构迁移、... 查看详情