tidb海量数据新增索引(代码片段)

LiuHongbo LiuHongbo     2022-11-23     717

关键词:

TIDB海量数据新增索引

由于创建索引在扫表回填索引的时候会消耗大量资源,甚至与一些频繁更新的字段会发生冲突导致正常业务受到影响。大表创建索引的过程往往会持续很长时间,所以要尽可能地平衡执行时间和集群性能之间的关系,比如选择非高频更新时间段

参数调整:

目前主要使用 tidb_ddl_reorg_worker_cnttidb_ddl_reorg_batch_size 这两个参数来动态调整索引创建速度,通常来说它们的值越小对系统影响越小,但是执行时间越长。

一般情况下,先将值保持为默认的 4 和 256 ,观察集群资源使用情况和响应速度,再逐渐调大 tidb_ddl_reorg_worker_cnt 参数来增加并发,观察监控如果系统没有发生明显的抖动,再逐渐调大 tidb_ddl_reorg_batch_size 参数,但如果索引涉及的列更新很频繁的话就会造成大量冲突造成失败重试。

另外还可以通过调整参数 tidb_ddl_reorg_priorityPRIORITY_HIGH 来让创建索引的任务保持高优先级来提升速度,但在通用 OLTP 系统上,一般建议保持默认。

例:生产1亿数据:

SET GLOBAL  tidb_ddl_reorg_worker_cnt = 16;

SET GLOBAL tidb_ddl_reorg_batch_size = 10240;

testcontainers-java新增对tidb的支持(代码片段)

testcontainers-java已于近期新增了对TiDB容器的支持。以后,在Java的应用程序中,你可以直接使用Java代码控制并创建Docker容器来使用TiDB,并管理它的生命周期,而无需编写外部脚本,这将极大地简化开发流程。本... 查看详情

hackathon实用指南丨快速给tidb新增一个功能(代码片段)

...xff1f;本文将通过step-by-step的方式,介绍如何快速给TiDB新增一个功 查看详情

海量数据处理-字典树和倒排索引(代码片段)

海量数据处理-字典树和倒排索引海量数据处理我们已经提到过分而治之mapreduce,和排序相关的专题,今天我们来看一下之前也有简单介绍过的字典树和倒排索引。倒排索引倒排索引是一种索引方法,常用在搜索引擎... 查看详情

tidb5.4发版丨新功能解读(代码片段)

...且具有响应时间稳定不占系统资源的突出特点;对于数据量大、读写更新频繁的分析场景,TiFlash存储引擎的性能优化将使CPU占用率在现有基础上显著降低并间接帮助提升并发查询下的总体性能;最后,TiDB5.4在大... 查看详情

tidb查询优化及调优系列tidb查询计划简介(代码片段)

...化器的优化流程。查询计划(executionplan)展现了数据库执行SQL语句的具体步骤,例如通过索引还是全表扫描访问表中的数据,连接查询的实现方式和连接的顺序等。查阅及 查看详情

tidb海量region集群调优实践

...c;来自网易游戏的资深数据库工程师田维繁老师分享了TiDB海量region集群调优主题,以下内容整理自当天活动分享实录。此 查看详情

tidb入门+深入(代码片段)

...数据库:Neo4J3、NewSQL:这类数据库不仅具有NoSQL对海量数据的存储管理能力,还保持了传统数据库支持ACID和SQL等特性:T 查看详情

tidb性能调优(代码片段)

...化2.1.1GRPC2.1.2Scheduler2.1.3Raftstore2.1.4UnifyReadPool2.1.5RocksDB2.2海量Region集群调优2 查看详情

大数据大数据组件tidb原理+实战篇(代码片段)

文章目录1.TiDB引入1.1.数据库技术发展简史1.2.从MySQL到TiDB1.3.TiDB概述1.4.数据库种类简介2.TiDB架构特性2.1.TiDB整体架构2.2.TiDB核心特性2.3.存储和计算能力3.TiDB安装部署3.1.TiDB-Local单机版3.2.TiDB-Docker集群版4.TiDB实践案例4.1.TiDB-SQL操作4.2... 查看详情

tidb常用api(代码片段)

...TiDB的所有指标curlhttp://TiDBIP:10080/metrics#获取所有区域的元数据curlhttp://TiDBIP:10080/regions/meta#获取热点区域的表/索引curlhttp://TiDBIP:10080/regions/hot#通过ID获取特定区域的信息curlhttp://TiDBIP:10080/regions/regionID#从db.table中获取区域信息curlhtt... 查看详情

tidb常用api(代码片段)

...TiDB的所有指标curlhttp://TiDBIP:10080/metrics#获取所有区域的元数据curlhttp://TiDBIP:10080/regions/meta#获取热点区域的表/索引curlhttp://TiDBIP:10080/regions/hot#通过ID获取特定区域的信息curlhttp://TiDBIP:10080/regions/regionID#从db.table中获取区域信息curlhtt... 查看详情

猿创征文|国产数据库实战之tidb数据库快速入门(代码片段)

猿创征文|国产数据库实战之TiDB数据库快速入门一、系统检查1.检查系统版本2.查看本地IP地址3.TiDB集群介绍二、快速部署本地测试集群1.安装TiUP工具2.声明全局环境变量3.快速部署TiDB集群三、连接TiDB数据库1.新开一个session以访问T... 查看详情

在线文本实体抽取能力,助力应用解析海量文本数据(代码片段)

...信息化的发展,很多具有重要价值的知识隐藏分布在海量数据中,影响了人们获取知识的效率,如何处理繁杂的非结构化文本数据成为难题。近日,HMSCore机器学习服务6.5.0版本新增在线文本实体抽取能力,该... 查看详情

猿创征文|国产数据库实战之使用docker部署tidb集群(代码片段)

猿创征文|国产数据库实战之使用Docker部署TiDB集群一、TiDB介绍1.TiDB简介2.TiDB特性3.TiDB集群整体架构4.TiDB集群各部分介绍5.本次TiDB集群组件二、检查本地环境1.检查docker状态2.检查docker版本3.检查docker-compose版本三、下载tidb-docker-comp... 查看详情

猿创征文|国产数据库实战之使用docker部署tidb集群(代码片段)

猿创征文|国产数据库实战之使用Docker部署TiDB集群一、TiDB介绍1.TiDB简介2.TiDB特性3.TiDB集群整体架构4.TiDB集群各部分介绍5.本次TiDB集群组件二、检查本地环境1.检查docker状态2.检查docker版本3.检查docker-compose版本三、下载tidb-docker-comp... 查看详情

猿创征文|国产数据库实战之使用docker部署tidb集群(代码片段)

猿创征文|国产数据库实战之使用Docker部署TiDB集群一、TiDB介绍1.TiDB简介2.TiDB特性3.TiDB集群整体架构4.TiDB集群各部分介绍5.本次TiDB集群组件二、检查本地环境1.检查docker状态2.检查docker版本3.检查docker-compose版本三、下载tidb-docker-comp... 查看详情

elasticsearch入门(代码片段)

...前全文搜索引擎的首选。它可以快速地储存、搜索和分析海量数据。维基百科、StackOverflow、Github都采用它。概念Elastic会索引所有字段,查询就是查索引。1,索引(Index)是Elastic数据管理的顶层单位,一个索引就是一个数据库。... 查看详情

mysql索引(代码片段)

...,增加了大量的IO。所以它的价值,在于提高一个海量数据的检索速度。常见索引分为:主键索引(primarykey)唯一索引(unique)普通索引(index)全文索引(fulltext)–解决中子文索引问题例:先整一个海量表,在查询的... 查看详情