正文 

当前位置： 首页 > 知识 > java教程

nacos1.3.0来了，基于全新内核构建！(代码片段)

javastack javastack     2022-12-03     131

关键词：

本文系投稿，作者：廖春涛（春少）

https://www.yuque.com/docs/share/17664885-e0d8-40fd-a208-f1b58794d544

经过一年多发展，1.2.0版本已经从安全上解决上生产的最后疑虑，解决用户主要诉求。

经过社区讨论，从1.3.0版本开始修炼内功，聚焦“简单”、“性能”、“高可用”这核心的三个点进一步提升Nacos核心竞争力。今天很高兴能代表社区向大家介绍1.3.0的核心特性

  • 内嵌关系型分布式数据库，简化集群部署模式

  • 集群管理下沉统一，提供全新集群管理能力

  • 一致性协议抽象升级，提供更高的性能

  • 安全升级，解决Fastjson和越权风险

下面我们逐个介绍一下这些能力

轻量级的内嵌关系型分布式数据库

为什么只是用服务发现模块也要我部署MySQL？MySQL集群搭建的成本有多高？不能把集群部署简单一点，像Consul、Etcd那样子？

这不，为了解决这个问题，Nacos 1.3.0 借鉴了 Etcd 的通过Raft协议将单机KV存储转变为分布式的KV存储的设计思想，基于SOFA-JRaft以及Apache Derby构建了一个轻量级的分布式关系型数据库，同时保留了使用外置数据源的能力，用户可以根据自己的实际业务情况选择其中一种数据存储方案。

从Nacos 1.3.0版本开始集群部署可以不依赖MySQL的这个特性，不仅降低中小用户的集群运维部署成本，也简化了其集群部署的操作以及省去了部署一套数据库集群的操作。

技术图片

新特性的开启命令为

./startup.sh -p embedded

然后查看启动日志是否有出现以下信息：Nacos started successfully in cluster mode. use embedded storage

技术图片

同时，为了方便用户查询本机节点的数据同步情况，Nacos 1.3.0 配置模块开放了新的运维 Open-API，供其查询当前节点本地数据存储情况，并且该Open-API只能执行select语句，其他DML语句一概不支持，其使用方式如下

GET /nacos/v1/cs/ops/derby?sql=select * from config_info

使用该命令时，最好加上分页查询，避免一次查处大量的数据影响Nacos的正常对外业务工作，如果没有加上分页查询，则会自动添加分页查询语句，默认查询最开始的1k条数据。其分页查询的SQL的例子如下。

select * from config_info OFFSET 0 ROWS FETCH NEXT 1000 ROWS ONLY

其数据返回结果如下

    "code":200,    "message":null,    "data":\\[                    "ID":242149783664332800,            "DATA\\\\_ID":"application.properties",            "GROUP\\\\_ID":"DEFAULT\\\\_GROUP",            "TENANT\\\\_ID":"",            "APP\\\\_NAME":"",            "CONTENT":"this.is.test=liaochuntao",            "MD5":"bedbfd7069e999edf2adf9d8a1af3083",            "GMT\\\\_CREATE":"2020-06-03T05:30:47.345+0000",            "GMT\\\\_MODIFIED":"2020-06-03T05:30:47.345+0000",            "SRC\\\\_USER":null,            "SRC\\\\_IP":"127.0.0.1",            "C\\\\_DESC":null,            "C\\\\_USE":null,            "EFFECT":null,            "TYPE":"properties",            "C\\\\_SCHEMA":null            \\]

Nacos 1.3.0 构建的轻量级的分布式关系型存储，其已满足事务ACID性质。后面我们会在这基础之上进一步优化该存储的性能。

注意事项

分布式ID——Snowflake

Nacos 1.3.0的分布式存储，其数据的主键依赖雪花ID算法进行生成，雪花算法ID需要_DataCenterId_、_WorkerId，默认情况下，WorkerId不需要进行设置，会根据InetAddress.getLocalHost()进行计算生成。如果需要自己指定，则在application.properties进行如下配置设置

# set the dataCenterID manuallynacos.core.snowflake.data-center=Number### set the WorkerID manuallynacos.core.snowflake.worker-id=Number

数据迁移

由于Nacos 1.3.0新增的内嵌存储模式是全新的数据存储模式，因此在进行Nacos-Server升级时，如果是需要使用这种新能力，需要另外部署一个Nacos 1.3.0集群，然后进行数据迁移，由于Nacos 1.3.0 新增的内嵌存储模式，还无法自动的将原本MySQL的数据直接一键进行数据迁移，因此用户只能使用控制台的数据导出导入的方式进行（会丢失配置历史数据），更加完备的数据迁移功能会在后面的版本进行开放。

全新的集群管理

提供全新集群管理页面

技术图片

Nacos 1.3.0版本开始，对集群节点管理进行了统一，将原有配置模块以及服务模块的集群节点管理统一下沉到内核模块，并且优化了集群节点信息展示，使得其更贴近Nacos集群节点的数据信息展示，其显示的内容包括如下几个方面

  1. 服务发现模块旧的Raft协议的元数据数据

  2. 配置管理模块使用新Raft协议的元数据

  3. Nacos节点自身的元数据信息

  4. 新Raft协议的RPC端口

  5. 节点的版本信息

  6. 节点的权重信息（该权重的功能暂未提供，以后服务端节点的负载均衡使用）

  7. 节点元数据信息上次刷新时间

新的集群寻址模式设置

Nacos 1.3.0版本开始，对集群节点的寻址模式做了统一，将原本分散的节点寻址模式整合并抽象，方便将来可以扩宽Nacos的集群发现机制，用户可以通过如下设置自己选择需要使用哪一种寻址模式作为集群节点的管理

文件寻址模式

nacos.core.member.lookup.type=file（默认值）

地址服务寻址模式

nacos.core.member.lookup.type=address-server

全新的一致性协议

Nacos 1.3.0版本开始，将对现有的一致性协议层进行统一抽象以及下沉。在Raft的选型上，使用了SOFA-JRaf作为CP协议的Backend，并且将其与配置管理模块进行了对接。用户可以通过调整下面的参数对Raft协议进行调整。

# Sets the Raft cluster election timeout, default value is 5 second# 设置Raft群集选举超时，默认值为5秒nacos.core.protocol.raft.data.election\\\\_timeout\\\\_ms=5000# Sets the amount of time the Raft snapshot will execute periodically, default is 30 minute# 设置Raft快照定期执行的时间，默认值为30分钟nacos.core.protocol.raft.data.snapshot\\\\_interval\\\\_secs=30# Raft internal worker threads# Raft 内部工作线程数量nacos.core.protocol.raft.data.core\\\\_thread\\\\_num=8# Number of threads required for raft business request processing# Raft 业务请求处理所需的线程数nacos.core.protocol.raft.data.cli\\\\_service\\\\_thread\\\\_num=4# raft 线性读取策略，默认为ReadOnlySafe，可以选择ReadOnlyLeaseBasednacos.core.protocol.raft.data.read\\\\_index\\\\_type=ReadOnlySafe### rpc请求超时，默认5秒nacos.core.protocol.raft.data.rpc\\\\_request\\\\_timeout\\\\_ms=5000

线性读参数解析

  1. ReadOnlySafe

  2. 该线性读模式，每次Follower进行读请求时，需要和Leader同步日志提交位点信息，而Leader，需要向过半的Follower发起证明自己是Leader的轻量的RPC请求，相当于一个Follower读，至少需要1 + （n/2）+ 1 次的RPC请求。

  3. ReadOnlyLeaseBased

  4. 该线性读模式，每次Follower进行读请求时，Leader只需要判断自己的Leader租约是否过期了，如果没有过期，直接可以回复Follower自己是Leader，但是该机制对于机器时钟要求很严格，如果有做时钟同步的话，可以考虑使用该线性读模式。

如果说对于配置的发布、修改操作比较频繁，可以将Raft快照的时间适当的进行调整，避免新节点加入或者节点重启时，由于Raft日志回放操作数太多导致节点可开始对外服务的时间过长。

JRaft

同时，为了方便运维对新的Raft协议能够进行一些简单的运维操作，Nacos 1.3.0 内核模块开放了相关一致性协议运维的 Open-API，供其对Raft进行一些运维操作，其相关的运维操作如下

切换某一个Raft Group的Leader节点

POST /nacos/v1/core/ops/raft    "groupId": "xxx",    "command": "transferLeader"    "value": "ip:raft\\\\_port or ip:raft\\\\_port,ip:raft\\\\_port,ip:raft\\\\_port"

重置某一个Raft Group的集群成员

POST /nacos/v1/core/ops/raft    "groupId": "xxx",    "command": "resetRaftCluster",    "value": "ip:raft\\\\_port,ip:raft\\\\_port,ip:raft\\\\_port,ip:raft\\\\_port"

注意，该操作是一个高危操作，仅仅当Raft集群的 n/2 + 1节点crash之后无法满足过半投票的要求才可以使用该运维命令，用于快速让当前剩余的节点重组Raft集群，对外提供服务，但是这个操作很大程度会造成数据的丢失

触发某一个Raft Group执行快照操作

POST /nacos/v1/core/ops/raft    "groupId": "xxx",    "command": "doSnapshot",    "value": "ip:raft_port"

移除某一个Raft Group中的某一成员

POST /nacos/v1/core/ops/raft    "groupId": "xxx",    "command": "removePeer",    "value": "ip:raft_port"

批量移除某一个Raft Group中的多个成员

POST /nacos/v1/core/ops/raft    "groupId": "xxx",    "command": "removePeers",    "value": "ip:raft\\\\_port,ip:raft\\\\_port,ip:raft_port,..."

后续

目前一致性协议层只是将CP协议具体实现了，后面会再将AP协议——Distro下沉到一致性协议层中，并且调整Distro的实现，其协议内部的通信将使用gRPC，以配合Nacos对于整个通信通道的规划。同时真正实现对整个一致性协议使用方式的收拢。

安全升级

  1. 修复fastjson安全漏洞

  2. 修复tenant越权漏洞

贡献者

Nacos 1.3.0 版本的开发中，社区同学贡献了很大的力量，在此表示感谢，他们是（排序不分先后）：@KomachiSion @zongtanghu @wangweizZZ @Maijh97 @jintonghuoya @jzdayz @yfh0918@wolfgangzhu @ObserverYu @langghaha @jiangcaijun @wfnuser @TsingLiang @showkawa @yanlinly @chuntaojun

关注公众号Java技术栈回复"面试"获取我整理的2020最全面试题及答案。

推荐去我的博客阅读更多：

1.Java JVM、集合、多线程、新特性系列教程

2.Spring MVC、Spring Boot、Spring Cloud 系列教程

3.Maven、Git、Eclipse、Intellij IDEA 系列工具教程

4.Java、后端、架构、阿里巴巴等大厂最新面试题

觉得不错，别忘了点赞+转发哦！

rdif.vnext全新低代码快速开发框架平台发布

...新开发，代码量减少50%，运行的速度也得到了质的提升，基于.NET6+全新开发，前后端分离，支持Web、App、客户端、微信等，适配各种行业和场景需求。对比传统模式的软件开发和基于闭源的开发，RDIF.vNext低代码快速开发框架开... 查看详情

更快的maven来了，我的天，速度提升了8倍！

周末被maven-mvnd刷屏了，于是我也下载了一个mvnd体验了一把。虽然测试的数据都是基于我本地项目，不具备普适性和权威性，但也足以说明问题。它的测试结果远远超出我的预期，下面一起来看。什么是mvnd？mv... 查看详情

61为啥foxmail7.2采用全新内核webkit？它有啥优点

参考技术ABlink是webkit的升级版本。Webkit：由Apple、Google、Adobe等公司推动的开源的排版引擎，代表浏览器有AppleSafari、GoogleChromeBlink：由Google和OperaSoftware基于Webkit引擎研发的排版引擎，代表浏览器有Chrome28+、Opera15+ 查看详情

标头修改在全新构建中不生效

】标头修改在全新构建中不生效【英文标题】：Headermodificationsdonottakeeffectinfreshbuild【发布时间】：2016-06-2209:46:25【问题描述】：我正在尝试将OpenCV3.1中的简要描述符用于Android。为了实现OpenCV必须使用_contrib从源代码构建。所以... 查看详情

全新leakcanary2!完全基于kotlin重构升级！(代码片段)

...概一年以前，写过一篇LeakCanary源码解析，当时是基于1.5.4版本进行分析的。Square公司在今年四月份发布了全新的2.0版本，完全使用Kotlin进行重构，核心原理并没有太大变化，但是做了一定的性能优化。在本文... 查看详情

全新aiyedgetpu开发板惊艳亮相

文/AIY项目总监BillyRutledge 在过去的一年半里，我们看到有20多万人在用我们的VoiceKit和VisionKit产品进行构建、修改和创作。今天，我们在?CloudNext大会上发布了两款新设备，其可以帮助专业工程师在处理器内核上构建支持设备... 查看详情

全新升级的aop框架dora.interception[6]:框架设计和实现原理(代码片段)

...们来聊聊它的设计和实现原理。目录一、调用链抽象二、基于约定的拦截器定义三、基于调用上下文的依赖注入容器四、拦截器的提供五、调用链的构建六、方法拦截的实现原理七、依赖注入框架的整合八、看看生成的代理类一... 查看详情

jetbrainside全新ui预览版来了，要做简洁与强大兼顾的ide

5月23日，JetBrains发布了一篇博文，透露他们正在实现一套全新的界面界面。他们认为目前行业中的用户界面趋势已经发生了演变，很多新用户认为JetBrainsIDE的界面过于笨重，而且过时。所以，团队做出了大胆... 查看详情

jetbrainside全新ui预览版来了，要做简洁与强大兼顾的ide

5月23日，JetBrains发布了一篇博文，透露他们正在实现一套全新的界面界面。他们认为目前行业中的用户界面趋势已经发生了演变，很多新用户认为JetBrainsIDE的界面过于笨重，而且过时。所以，团队做出了大胆... 查看详情

markdown构建linux内核(代码片段)

查看详情

中标麒麟：云计算集装箱来了

科技的不断发展，我们进入了大数据时代，在移动互联网影响下我国各地数据中心建设和应用的时间周期越来越短，很多基于集装箱设计的云计算中心开始出现。集装箱式的云计算中心就是将服务器、存储系统和网络设备装入金... 查看详情

OpenCL 构建：字符串化内核代码的优势

】OpenCL构建：字符串化内核代码的优势【英文标题】：OpenCLbuild:advantageofstringyingkernelcode【发布时间】：2017-06-1515:07:48【问题描述】：我目前正在分发一个OpenCL程序（在线编译）。现在我的内核代码位于*.cl文件中，该文件在内核... 查看详情

《基于armcortex-a9的嵌入式linux内核移植研究与实现》

[1]罗名驹.基于ARMCortex-A9的嵌入式Linux内核移植研究与实现[D].广东工业大学,2017.文章目录​​移植环境搭建​​​​设备树​​​​uboot​​​​内核移植​​​​根文件系统构建​​移植环境搭建1.ubuntu安装嵌入式开发通常是在... 查看详情

Mono 3.0.0 基于 CentOS 6 构建

】Mono3.0.0基于CentOS6构建【英文标题】：Mono3.0.0buildonCentOS6【发布时间】：2012-10-2211:19:26【问题描述】：我最近发现自己需要为CentOS6构建Mono3.0，我的基础架构人员要求我尽可能让系统尽可能接近CentOS（即，如果可能，不要使用第3... 查看详情

堪称教科书级别的《flutter内核解析与项目实战》，阿里大佬全新开源(代码片段)

近两年Flutter的热度不断提升，无论在阿里还是外部公司，参与Flutter生态建设的人越来越多。Flutter作为跨端的UI框架，未来也有很大的可能像Rax一样作为集团内营销活动页面搭建的DSL。所以目前学习Flutter，参与Flut... 查看详情

yc是啥意思？

...YC浏览器的简称。YC（YangC++,简称YC）浏览器——国内首款全新浏览器内核，YC浏览器内核(暂命名Ycweb)的研发始于2001年底，历时十年。几十万行的代码，没有借用任何开源的代码，做到了真正独立自主开发，是继世界主流四款浏览... 查看详情

你问的svelte来了--静态编译直出dom独立分发webcomponents位掩码变化追踪(代码片段)

SvelteSvelte是一种全新的构建用户界面的方法。传统框架如React和Vue在浏览器中需要做大量的工作，而Svelte将这些工作放到构建应用程序的编译阶段来处理。与使用虚拟（virtual）DOM差异对比不同。Svelte编写的代码在应用... 查看详情

微信小程序-基于云开发cms+vantweapp电商demo来了！(代码片段)

很久就在计划的Demo，他来了！先来看个目前已经实现的本地页面效果图：由于每个用户只能拥有5个微信小程序，我个人原因只能在之前已经上线的一个小程序《黎族文化传承》中进行修改，也是由于这个小程序是个人类型小程... 查看详情