springboot与检索任务安全分布式热部署监控管理(代码片段)

之墨_ 之墨_     2022-12-30     583

关键词:

参考自尚硅谷spring boot高级课程PPT

一、检索

概念

开源的 ElasticSearch 是目前全文搜索引擎的首选。他可以快速的存储、搜索和分析海量数据。Spring Boot通过整合Spring Data ElasticSearch为我们提供了非常便捷的检索功能支持;
Elasticsearch是一个分布式搜索服务,提供Restful API,底层基于Lucene,采用多shard(分片)的方式保证数据安全,并且提供自动resharding的功能,github等大型的站点也是采用了ElasticSearch作为其搜索服务;

以员工文档 的形式存储为例:一个文档代表一个员工数据。存储数据到
ElasticSearch 的行为叫做索引 ,但在索引一个文档之前,需要确定将文档存储在哪里。
• 一个 ElasticSearch 集群可以 包含多个 索引 ,相应的每个索引可以包含多
个 类型 。 这些不同的类型存储着多个 文档 ,每个文档又有 多个 属性 。
类似关系

– 索引-数据库
– 类型-表
– 文档-表中的记录
– 属性-列

整合ElasticSearch测试

• 引入spring-boot-starter-data-elasticsearch
• 安装Spring Data 对应版本的ElasticSearch
application.yml配置
Spring Boot自动配置的ElasticsearchRepositoryElasticsearchTemplateJest
• 测试ElasticSearch

二、任务

异步任务

在Java应用中,绝大多数情况下都是通过同步的方式来实现交互处理的;但是在处理与第三方系统交互的时候,容易造成响应迟缓的情况,之前大部分都是使用多线程来完成此类任务,其实,在Spring 3.x之后,就已经内置了@Async来完美解决这个问题。
两个注解:
@EnableAysnc@Aysnc

定时任务

项目开发中经常需要执行一些定时任务,比如需要在每天凌晨时候,分析一次前
一天的日志信息。Spring为我们提供了异步执行任务调度的方式,提供
TaskExecutorTaskScheduler 接口。

两个注解:@EnableScheduling@Scheduled
cron表达式

邮件任务

• 邮件发送需要引入spring-boot-starter-mail
• Spring Boot 自动配置MailSenderAutoConfiguration
• 定义MailProperties内容,配置在application.yml中
• 自动装配JavaMailSender
• 测试邮件发送

三、安全

Spring Security是针对Spring项目的安全框架,也是Spring Boot底层安全模块默认的技术选型。他可以实现强大的web安全控制。对于安全控制,我们仅需引入spring-boot-starter-security模块,进行少量的配置,即可实现强大的安全管理。
几个类:
WebSecurityConfigurerAdapter:自定义Security策略
AuthenticationManagerBuilder:自定义认证策略
@EnableWebSecurity:开启WebSecurity模式

• 应用程序的两个主要区域是“认证”和“授权”(或者访问控制) 这两个主要区域是Spring Security 的两个目标。
• “认证”(Authentication),是建立一个他声明的主体的过程(一 个“主体”一般是指用户,设备或一些可以在你的应用程序中执行动作的其他系统)。
• “授权”(Authorization)指确定一个主体是否允许在你的应用程序执行一个动作的过程。为了抵达需要授权的店,主体的身份已经有认 证过程建立。
• 这个概念是通用的而不只在Spring Security

Web&安全

1. 登陆/注销
HttpSecurity配置登陆、注销功能
2. Thymeleaf提供的Spring Security标签支持
– 需要引入thymeleaf-extras-springsecurity4
sec:authentication=“name”获得当前用户的用户名
sec:authorize=“hasRole(‘ADMIN’)”当前用户必须拥有ADMIN权限时才会显示标签内容
3. remember me
– 表单添加remember-mecheckbox
– 配置启用remember-me功能
4. CSRF(Cross-site request forgery)跨站请求伪造
HttpSecurity启用csrf功能,会为表单添加_csrf的值,提交携带来预防CSRF

四、分布式

在分布式系统中,国内常用zookeeper+dubbo组合,而Spring Boot推荐使用全栈的Spring,Spring Boot+Spring Cloud。
分布式系统:

各类应用架构特点

单一应用架构

当网站流量很小时,只需一个应用,将所有功能都部署在一起,以减少部署节点和成本。此时,用于简化增删改查工作量的数据访问框架(ORM)是关键。

垂直应用架构

当访问量逐渐增大,单一应用增加机器带来的加速度越来越小,将应用拆成互不相干的几个应用,以提升效率。此时,用于加速前端页面开发的Web框架(MVC)是关键。

分布式服务架构

当垂直应用越来越多,应用之间交互不可避免,将核心业务抽取出来,作为独立的服务,逐渐形成稳定的服务中心,使前端应用能更快速的响应多变的市场需求。此时,用于提高业务复用及整合的分布式服务框架(RPC)是关键。

流动计算架构

当服务越来越多,容量的评估,小服务资源的浪费等问题逐渐显现,此时需增加一个调度中心基于访问压力实时管理集群容量,提高集群利用率。此时,用于提高机器利用率的资源调度和治理中心(SOA)是关键。

Zookeeper和Dubbo

• ZooKeeper

ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务。它是 一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、
域名服务、分布式同步、组服务等。

• Dubbo

DubboAlibaba开源的分布式服务框架,它最大的特点是按照分层的方 式来架构,使用这种方式可以使各个层之间解耦合(或者最大限度地松耦合)。从服务模型的角度来看,Dubbo采用的是一种非常简单的模型,要 么是提供方提供服务,要么是消费方消费服务,所以基于这一点可以抽象出服务提供方(Provider)和服务消费方(Consumer)两个角色。


Dubbo——Alibaba开源的分布式服务框架
• 1、安装zookeeper作为注册中心
• 2、编写服务提供者
• 3、编写服务消费者
• 4、整合dubbo

<dependency>
<groupId>com.alibaba.spring.boot</groupId>
<artifactId>dubbo-spring-boot-starter</artifactId>
<version>2.0.0</version>
</dependency>

Spring Boot和Spring Cloud

Spring Cloud

Spring Cloud是一个分布式的整体解决方案。Spring Cloud 为开发者提供了在分布式系统(配置管理,服务发现,熔断,路由,微代理,控制总线,一次性token,全局琐,leader选举,分布式session,集群状态)中快速构建的工具,使用Spring Cloud的开发者可以快速的启动服务或构建应用、同时能够快速和云平台资源进行对接。**

SpringCloud分布式开发五大常用组件

• 服务发现——Netflix Eureka
• 客服端负载均衡——Netflix Ribbon
• 断路器——NetflixHystrix
• 服务网关——Netflix Zuul
• 分布式配置——Spring Cloud Config

微服务


微服务原文

Spring Cloud 入门

– 1、创建provider
– 2、创建consumer
– 3、引入Spring Cloud
– 4、引入Eureka注册中心
– 5、引入Ribbon进行客户端负载均衡

五、热部署

我们希望不重启应用的情况下,程序可以自动部署(热部署)。有以下四种情况,如何能实现热部署。

1、模板引擎

– 在Spring Boot中开发情况下禁用模板引擎的cache
– 页面模板改变ctrl+F9可以重新编译当前页面并生效

2、Spring Loaded

Spring官方提供的热部署程序,实现修改类文件的热部署
– 下载Spring Loaded(项目地址https://github.com/spring-projects/spring-loaded
– 添加运行时参数;
-javaagent:C:/springloaded-1.2.5.RELEASE.jar –noverify

3、JRebel

– 收费的一个热部署软件
– 安装插件使用即可

4、Spring Boot Devtools(推荐)

– 引入依赖
IDEA使用ctrl+F9
– 或做一些小调整Intellij IEDAEclipse不同,Eclipse设置了自动编译之后,修改类它会自动编译,而IDEA在非RUNDEBUG情况下
才会自动编译(前提是你已经设置了Auto-Compile)。
• 设置自动编译(settings-compiler-make project automatically
ctrl+shift+alt+/(maintenance)
• 勾选compiler.automake.allow.when.app.running

六、监控管理

通过引入spring-boot-starter-actuator,可以使用Spring Boot为我们提供的准生产环境下的应用监控和管理功能。我们可以通过HTTPJMXSSH协议来进
行操作,自动得到审计、健康及指标信息等
• 步骤:
– 引入spring-boot-starter-actuator
– 通过http方式访问监控端点
– 可进行shutdownPOST 提交,此端点默认关闭)
• 监控和管理端点

定制端点信息
– 定制端点一般通过endpoints+端点名+属性名来设置。
– 修改端点idendpoints.beans.id=mybeans
– 开启远程应用关闭功能(endpoints.shutdown.enabled=true
– 关闭端点(endpoints.beans.enabled=false
– 开启所需端点
endpoints.enabled=false
endpoints.beans.enabled=true
– 定制端点访问根路径
management.context-path=/manage
– 关闭http端点
management.port=-1

springboot应用监控——actuator安全隐患及解决方案

点击关注公众号,实用技术文章及时了解来源:blog.csdn.net/u013087026/article/details/109536552概述微服务作为一项在云中部署应用和服务的新技术是当下比较热门话题,而微服务的特点决定了功能模块的部署是分布式的,... 查看详情

springboot.05.springboot本地测试与热部署

SpringBoot.05.SpringBoot本地测试与热部署引言本地测试1.pom.xml2.UserTest.java3.测试热部署工具1.pom.xml2.设置IDEA支持自动编译3.开启允许在运行过程中修改文件4.测试引言往往在开发过程中业务代码可能非常复杂,需要频繁启动服务器... 查看详情

springboot.05.springboot本地测试与热部署(代码片段)

SpringBoot.05.SpringBoot本地测试与热部署引言本地测试1.pom.xml2.UserTest.java3.测试热部署工具1.pom.xml2.设置IDEA支持自动编译3.开启允许在运行过程中修改文件4.测试引言往往在开发过程中业务代码可能非常复杂,需要频繁启动服务器... 查看详情

springboot热部署简介(代码片段)

首先来看看JAVA热部署与热加载的联系:(1)都可以不重启服务器的情况下进行编译/部署项目;(2)基于Java的类加载器实现热部署与热加载的区别:(1)热部署在服务器运行时重新部署项目&#x... 查看详情

springboot2.0之热部署原理

所谓的热部署:比如项目的热部署,就是在应用程序在不停止的情况下,实现新的部署原理:实用类加载器(classloader重新读取字节码文件到jvm内存)如何纯手写一个热部署功能: 1、监听class文件是否发生改变 版本号、... 查看详情

springboot开发实用篇复习1(代码片段)

SpringBoot开发实用篇主要包含6大部分,分别为热部署、配置高级、测试、数据层解决方案、整合第三方技术、监控。下面就开始一起学习吧。这篇文章包含前三个部分,即热部署、配置高级和测试。目录一、热部署1.1、手... 查看详情

springboot.05.springboot本地测试与热部署(代码片段)

SpringBoot.05.SpringBoot本地测试与热部署引言本地测试1.pom.xml2.UserTest.java3.测试热部署工具1.pom.xml2.设置IDEA支持自动编译3.开启允许在运行过程中修改文件4.测试引言往往在开发过程中业务代码可能非常复杂,需要频繁启动服务器... 查看详情

rocketmq分布式消息队列的部署与监控

--------------------------------------------------------------------------------------------一、Rocketmq简介:--------------------------------------------------------------------------------------------Roc 查看详情

springboot/cloud应用监控

...要是监控服务及服务器的各项指标。该项目是使用了开源springboot监控项目spring-boot-admin,开源项目地址:spring-boo 查看详情

springboot两步集成日志收集elk与分布式系统监控cat

日志收集ELK与分布式系统监控CATSpringBoot项目集成方法一.pom.xml引入starter依赖<dependency><groupId>com.louis</groupId><artifactId>ylog-spring-boot-starter</artifactId><version>0.0.1-SNAPSH 查看详情

2021-技能大赛-信息安全管理与评估-dcn设备总结(中)-任务二-设备安全配置篇(代码片段)

2021-技能大赛-信息安全管理与评估-DCN设备总结(中)-任务二-设备安全配置篇(2)author:leadlifetime:2022/3/11知识星球:LeadlifeSec技术交流群:775454947文章目录2021-技能大赛-信息安全管理与评估-DCN设备总结(中)-... 查看详情

springboot实现热部署

SpringBoot实现热部署通过一下步骤,可以实现SpringBoot热部署,从而在修改代码时,不需要手动重启1.导入spring-boot-devtools依赖2.设置IDEA自动编译3.设置IDEA的Registry(ctrl+shift+alt+/)勾选compiler.automake.allow.when.app.running 查看详情

1.springboot之热部署

1.springboot热部署1.1.springloadedspringloaded可以实现修改类文件的热部署.下载地址:springloaded安装单击RunConfigurations...在Arguments标签页的vmarguments中填入如下内容,注意下面指定的springloaded路径:-javaagent:F:sortingDatamavenRepositoriesMa 查看详情

34springboot的热部署

...以下四种情况,如何能实现热部署。 1、模板引擎在SpringBoot中开发情况下禁用模板引擎的cache页面模板改变ctrl+F9可以重新编译当前页面并生效 2、SpringLoadedSpring官方提供的热部署程序,实现修改类文件的 查看详情

zabbix分布式监控多网段的部署与实现(代码片段)

集群架构:构建思路:本监控系统由一个zabbixmaster和两个zabbixproxy组成,各自位于不同的网段,且有独立的MySQL服务器;其中192.168.1.0网段作为三个路由互联的网段,10.0.0.0网段为zabbixmaster所处的网段,172.16.0.0和172.26.0.0网段为zabbi... 查看详情

分布式调度

分布式调度两大任务:  任务调度:大量计算任务、任务如何切分、数据如何分割、运算、监控运算状态。  资源调度1、任务调度2、资源调度3、容错机制4、规模挑战5、安全与性能隔离6、分布式调度发展方向 在VLDB2014F... 查看详情

springboot热部署

后端开发中热部署有很多方式,但是在开发SpringBoot项目有一种SpringBoot给我们提供好的很方便的一种方式,配置起来也很简单。热部署可以简单的这样理解:我们修改程序代码后不需要重新启动程序,就可以获取到最新的代码,... 查看详情

springboot4.springboot整合devtools实现热部署

一、添加devtools依赖<!--Springboot热部署:此热部署会遇到java.lang.ClassCastException异常--><!--optional=true,依赖不会传递,该项目依赖devtools;之后依赖myboot项目的项目如果想要使用devtools,需要重新引入--><dependency><groupId>... 查看详情