springboot-mybatis多数据源以及踩坑之旅

小小小小涛      2022-04-25     625

关键词:

首先,springboot项目结构如下

springboot配置文件内容如下

 

动态数据源的配置类如下(必须保证能被ComponentScan扫描到):

 1 package com.letzgo.config;
 2 
 3 import com.alibaba.druid.pool.DruidDataSource;
 4 import org.apache.ibatis.session.SqlSessionFactory;
 5 import org.mybatis.spring.SqlSessionFactoryBean;
 6 import org.mybatis.spring.SqlSessionTemplate;
 7 import org.mybatis.spring.annotation.MapperScan;
 8 import org.springframework.beans.factory.annotation.Qualifier;
 9 import org.springframework.boot.context.properties.ConfigurationProperties;
10 import org.springframework.context.annotation.Bean;
11 import org.springframework.context.annotation.Configuration;
12 import org.springframework.context.annotation.Primary;
13 import org.springframework.core.io.support.PathMatchingResourcePatternResolver;
14 import org.springframework.jdbc.datasource.DataSourceTransactionManager;
15 
16 import javax.sql.DataSource;
17 
18 /**
19  * @author allen
20  * @date 2019-01-10 15:08
21  */
22 public class DynamicDatasourceConfig {
23 
24     @Configuration
25     @MapperScan(basePackages = "com.letzgo.dao.master")
26     public static class Master {
27         @Primary
28         @Bean("masterDataSource")
29         @Qualifier("masterDataSource")
30         @ConfigurationProperties(prefix = "spring.datasource.master")
31         public DataSource dataSource() {
32             return new DruidDataSource();
33         }
34 
35         @Primary
36         @Bean("masterSqlSessionFactory")
37         @Qualifier("masterSqlSessionFactory")
38         public SqlSessionFactory sqlSessionFactory(@Qualifier("masterDataSource") DataSource dataSource) throws Exception {
39             SqlSessionFactoryBean factoryBean = new SqlSessionFactoryBean();
40             factoryBean.setDataSource(dataSource);
41             factoryBean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath:mapper/master/*.xml"));
42             return factoryBean.getObject();
43         }
44 
45         @Primary
46         @Bean("masterTransactionManager")
47         @Qualifier("masterTransactionManager")
48         public DataSourceTransactionManager transactionManager(@Qualifier("masterDataSource") DataSource dataSource) {
49             return new DataSourceTransactionManager(dataSource);
50         }
51 
52         @Primary
53         @Bean("masterSqlSessionTemplate")
54         @Qualifier("masterSqlSessionTemplate")
55         public SqlSessionTemplate sqlSessionTemplate(@Qualifier("masterSqlSessionFactory") SqlSessionFactory sqlSessionFactory) {
56             return new SqlSessionTemplate(sqlSessionFactory);
57         }
58 
59     }
60 
61     @Configuration
62     @MapperScan(basePackages = "com.letzgo.dao.slave")
63     public static class Slave {
64         @Bean("slaveDataSource")
65         @Qualifier("slaveDataSource")
66         @ConfigurationProperties(prefix = "spring.datasource.slave")
67         public DataSource dataSource() {
68             return new DruidDataSource();
69         }
70 
71         @Bean("slaveSqlSessionFactory")
72         @Qualifier("slaveSqlSessionFactory")
73         public SqlSessionFactory sqlSessionFactory(@Qualifier("slaveDataSource") DataSource dataSource) throws Exception {
74             SqlSessionFactoryBean factoryBean = new SqlSessionFactoryBean();
75             factoryBean.setDataSource(dataSource);
76             factoryBean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath:mapper/slave/*.xml"));
77             return factoryBean.getObject();
78         }
79 
80         @Bean("slaveTransactionManager")
81         @Qualifier("slaveTransactionManager")
82         public DataSourceTransactionManager transactionManager(@Qualifier("slaveDataSource") DataSource dataSource) {
83             return new DataSourceTransactionManager(dataSource);
84         }
85 
86         @Bean("slaveSqlSessionTemplate")
87         @Qualifier("slaveSqlSessionTemplate")
88         public SqlSessionTemplate sqlSessionTemplate(@Qualifier("slaveSqlSessionFactory") SqlSessionFactory sqlSessionFactory) {
89             return new SqlSessionTemplate(sqlSessionFactory);
90         }
91     }
92 
93 }

完成基本配置之后,分别在master和slave中写一个数据库访问操作,再开放两个简单的接口,分别触发master和slave的数据看访问操作。

至此没项目基本结构搭建已完成,启动项目,进行测试。

我们会发现这样master的数据库访问是能正常访问的,但是slave的数据库操作是不行的,报错信息如下:

org.apache.ibatis.binding.BindingException: Invalid bound statement (not found):***

对于这样错误,起初企图通过百度解决,大部分都是说xml文件的命名空间和dao接口全名不对应或者说是接口方法和xml中的方法不对应等等解决方法,

本人检查了自己的代码多遍重启多遍均无法解决,并不是说这些方法不对,但是本案例的问题却不是这些问题导致的。最后无奈,只能硬着头皮去看源码,最后发现了问题所在。

debug源码调试到最后,发现不论是执行mater还是slave的数据库操作,使用了相同的SqlSession,同一个!!!这个肯定是有问题的。

继续看源码进行查,看SqlSession的注入过程。

我们知道mybatis只要写接口不用写实现类(应该是3.0之后的版本),实际上是使用了代理,每个dao接口,在spring容器中其实是对应一个MapperFactoryBean(不懂FactoryBean的可以去多看看spring的一些核心接口,要想看懂spring源码必须要知道的)。

当从容器中获取bean的时候,MapperFactoryBean的getObject方法就会根据SqlSession实例生产一个MapperProxy对象的代理类。

问题的关键就在于MapperFactoryBean,他继承了SqlSessionDaoSupport类,他有一个属性,就是SqlSession,而且刚才所说的创建代理类所依赖的SqlSession实例就是这个。那我们看这个SqlSession实例是什么时候注入的就可以了,就能找到为什么注入了同一个对象了。

找spring注入的地方,spring注入的方式个人目前知道的有注解处理器如@Autowired的注解处理器AutowiredAnnotationBeanPostProcessor等类似的BeanPostProcessor接口的实现类,还有一种就是在BeanDefinition中定义器属性的注入方式,在bean的定义阶段就决定了的,前者如果不知道的可以看看,在此不做赘述,后者的处理过程源码如下(只截取核心部分,感兴趣的可以自己看一下处理过程,调用链比较深,贴代码会比较多,看着眼花缭乱):

debug到dao接口类的的BeanDefinition(上文已说过其实是MapperFactoryBean),发现他的autowiremode是2,参照源码

即可发现为按照类型自动装配

最关键的来了:

debug的时候发现,master的dao接口执行到this.autowireByType(beanName, mbd, bw, newPvs)方法中,给MapperFactoryBean中SqlSession属性注入的实例是masterSqlSessionTemplate对象,

slave的dao接口执行该方法时注入的也是masterSqlSessionTemplate对象,按类型注入,spring容器中找到一个即注入(此时slaveSqlSessionTemplate也在容器中,为什么按类型注入找到了masterSqlSessionTemplate却没报错,应该是@Primary的作用

至此,问题产生的原因已基本找到,那该如何解决呢?BeanDefinition为什么会定义成autowiremode=2呢,只能找@MapperScan看了,看这个注解的处理源码,最后找到ClassPathMapperScanner以下方法:

 1 private void processBeanDefinitions(Set<BeanDefinitionHolder> beanDefinitions) {
 2         Iterator var3 = beanDefinitions.iterator();
 3 
 4         while(var3.hasNext()) {
 5             BeanDefinitionHolder holder = (BeanDefinitionHolder)var3.next();
 6             GenericBeanDefinition definition = (GenericBeanDefinition)holder.getBeanDefinition();
 7             if (this.logger.isDebugEnabled()) {
 8                 this.logger.debug("Creating MapperFactoryBean with name '" + holder.getBeanName() + "' and '" + definition.getBeanClassName() + "' mapperInterface");
 9             }
10 
11             definition.getConstructorArgumentValues().addGenericArgumentValue(definition.getBeanClassName());
12             definition.setBeanClass(this.mapperFactoryBean.getClass());
13             definition.getPropertyValues().add("addToConfig", this.addToConfig);
14             boolean explicitFactoryUsed = false;
15             if (StringUtils.hasText(this.sqlSessionFactoryBeanName)) {
16                 definition.getPropertyValues().add("sqlSessionFactory", new RuntimeBeanReference(this.sqlSessionFactoryBeanName));
17                 explicitFactoryUsed = true;
18             } else if (this.sqlSessionFactory != null) {
19                 definition.getPropertyValues().add("sqlSessionFactory", this.sqlSessionFactory);
20                 explicitFactoryUsed = true;
21             }
22 
23             if (StringUtils.hasText(this.sqlSessionTemplateBeanName)) {
24                 if (explicitFactoryUsed) {
25                     this.logger.warn("Cannot use both: sqlSessionTemplate and sqlSessionFactory together. sqlSessionFactory is ignored.");
26                 }
27 
28                 definition.getPropertyValues().add("sqlSessionTemplate", new RuntimeBeanReference(this.sqlSessionTemplateBeanName));
29                 explicitFactoryUsed = true;
30             } else if (this.sqlSessionTemplate != null) {
31                 if (explicitFactoryUsed) {
32                     this.logger.warn("Cannot use both: sqlSessionTemplate and sqlSessionFactory together. sqlSessionFactory is ignored.");
33                 }
34 
35                 definition.getPropertyValues().add("sqlSessionTemplate", this.sqlSessionTemplate);
36                 explicitFactoryUsed = true;
37             }
38 
39             if (!explicitFactoryUsed) {
40                 if (this.logger.isDebugEnabled()) {
41                     this.logger.debug("Enabling autowire by type for MapperFactoryBean with name '" + holder.getBeanName() + "'.");
42                 }
43 
44                 definition.setAutowireMode(2);
45             }
46         }
47 
48     }

 

44行是关键,但是有个条件,这个条件成立的原因就是@MapperScan注解没有指定过sqlSessionTemplateRef或者sqlSessionFactoryRef,正因为没有指定特定的sqlSessionTemplate或者sqlSessionFactory,mybatis默认采用按类型自动装配的方式进行注入。

至此,问题解决方案已出:

代码中的两个@MapperScan用法分别改为:

1 @MapperScan(basePackages = "com.letzgo.dao.master", sqlSessionFactoryRef = "masterSqlSessionFactory", sqlSessionTemplateRef = "masterSqlSessionTemplate")
2  
3 @MapperScan(basePackages = "com.letzgo.dao.slave", sqlSessionFactoryRef = "slaveSqlSessionFactory", sqlSessionTemplateRef = "slaveSqlSessionTemplate")

重启进行测试,问题解决。

PS:

还是对各种注解使用方法不了解(或者说对框架的源码不了解),导致搞了这么久的问题,还好最后查到了,记录于此,给自己加深印象,也希望解决方案能帮到部分同行。以后还是要多看源码,哈哈哈。

springboot-mybatis的代码生成器easycode使用示例

一、环境准备:1.开发工具IDE:InterlliJIDEA;2.数据库:MySQL;3.InterlliJIDEA安装好插件:EasyCode;4.启用IDEA连接数据库;(如下)第一步:   第二步:   第三步:      第四步:  &nb... 查看详情

springboot-mybatis

          Springboot-Mybatis packagecom.bjsxt.controller;importjava.util.List;importorg.springframework.beans.factory.annotation.Autowired;import 查看详情

springboot-mybatis配置问题

org.apache.ibatis.binding.BindingException:Invalidboundstatement(notfound)问题  查看详情

postgresql分页数据查询踩坑

参考技术A一天,在查询数据的时候,发现数据少了一条,然后去查找原因,发现SQL没有问题啊,百思不得其解,最后才发现原因出在排序字段上Postgresql排序字段如果不是Unique,就会随机排序,所以我们可以加入一个Unique字段,... 查看详情

mac下basemap安装,以及踩的一些小坑(代码片段)

数据分析的是可视化不可或缺的,当学习到利用basemap来绘图时,环境又是恶心人的一件事。。1.安装我在谷歌逛了一圈,发现大多人下载必要文件基本使用pip或者借助包管理器,‘省时省力’原则我选择了后者。在mac下的... 查看详情

apollo配置教程以及踩坑总结(代码片段)

一、Apollo包的介绍apollo一共三个包:apollo-portal.zip、apollo-configservice.zip、apollo-adminservice.zip说明:portal:后台配置管理页面;config:提供配置的读取、推送等功能;admin:提供配置的修改、发布等功能二... 查看详情

wsl简单环境搭建以及踩坑

序言笔者的电脑配置不高,开虚拟机跑linux总觉得太重。最近才了解到windows早就上了wsl2——一款较为轻量的虚拟机软件。所以笔者打算一边安装一边记录笔记,方便以后查阅,同时将内容分享出来,给大家提供一些帮助。环境... 查看详情

springboot-mybatis

springboot集成mybatis有两种方式:注解方式和xml配置方式。项目的相关配置:1、添加依赖<dependency>  <groupId>org.mybatis.spring.boot</groupId>  <artifactId>mybatis-spring-boot-starter</artifactId>  <ve 查看详情

springboot-mybatis配置(xml)/springboot-jpa配置

#springboot-mybatis配置(xml)spring.datasource.url=jdbc:mysql://localhost:3306/testspring.datasource.username=rootspring.datasource.password=123456spring.datasource.driver-class-name=com.mysql.jdbc.Drive 查看详情

el-cascader数据渲染及回显至页面(以及踩坑历程+解决)(代码片段)

第一次使用el-cascader就把坑踩了个遍,写个记录,也希望能够帮助到同为小猿的你们。下面是我写的一个还原项目的例子Bug1  首先是最小子集仍然有children,但是children为空数组,el-cascader渲染时,发现有childre... 查看详情

使用sslsocket实现双向认证(keytool证书创建双向认证证书(这里有根证书)的详细步骤以及踩雷)(代码片段)

一、SSL的双向认证步骤以及Keytool的使用方法  就不再多说,网上一搜一大堆二、Keytool创建双向认证证书步骤  由于收费的CA证书搞不到,平常也用不到,这里只使用了自签名证书。创建根证书这里直接回车即可。  2.创建... 查看详情

springboot-mybatis使用xml方式

步骤1:xml方式Springboot-Mybatis-SQL语句可以使用接口加注解的方式,也可以用xml的方式,所以本篇记录xml方式怎么做步骤2:可运行项目本篇接着上一篇教程的项目操作~~:mybatis接口+注解方式:https://www.cnblogs.com/newRyan/p/12787858.html步骤3... 查看详情

跑偏聊聊??springcloudconfig配置中心步骤以及踩的坑

一、心路历程终于告一段落了,从开始搭建配置中心到现在,经历了心理和现实的一系列过程。入职这家公司后,有个公司架构师给了一个基础的框架,说是用springcloud,里面切切实实是一个架子,springcloud的多个组件都没有引... 查看详情

跑偏聊聊??springcloudconfig配置中心步骤以及踩的坑

一、心路历程终于告一段落了,从开始搭建配置中心到现在,经历了心理和现实的一系列过程。入职这家公司后,有个公司架构师给了一个基础的框架,说是用springcloud,里面切切实实是一个架子,springcloud的多个组件都没有引... 查看详情

elk搭建踩过的坑

...、分析、过滤kibana日志分析界面beats日志采集器收集网络数据、指标、日志、window实践、审计、运行时间x- 查看详情

springboot进行war包部署,以及踩坑历险!!!

参考技术A使用springboot也很长时间了,一直都是使用内置Tomcat运行项目,最近由于公司架构需要将项目以war包形式发布封装组件,又不想把自己多天的成功重新用spring造一遍,遂有了将springboot打成war包的想法。参考网上各种方法... 查看详情

通过paml中的codeml模块计算dnds的过程以及踩坑(代码片段)

最近帮女朋友做毕业设计的时候用到了PAML这个软件的codeml功能,发现网上相关的资料很少,于是把自己踩的一些坑分享一下,希望能帮到其他有相同困难的人 一、下载与安装PAML软件下载地址http://abacus.gene.ucl.ac.uk/software/paml4... 查看详情

与webview打交道踩过的坑

...在移动应用中开辟出一个窗口,在里面显示html页面,css以及js代码也可以被解析执行,它使用的是我们熟悉的webkit内核。android和ios都有相应的API,所以写一份代码在多个平台运行的能力就是以webview为基础的。  今天我们要聊... 查看详情