# 1、概述本文主要描述产品发生数据库类型切换时需要考虑的关键点，以及可能的解决方案，以供产品和项目进行参考。主要包括以下方面： 1. **数据库内容迁移**：包括表结构、数据、视图、函数等内容的迁移工作； 2. **平台组件适配**：包括但不限于数据库驱动、seata、liquibase、sharding-jdbc、jpa、mybatis、druid、全局表同步组件(zfs-data-author-global-sync); 3. **配置文件修改**：包括但不限于数据库连接信息、hibernate方言、druid的filter配置、sharding-jdbc配置。 4. **业务代码适配**：包括但不限于mybatis的mapper存在数据库区分语法、liquibase脚本存在区分数据库脚本、jpa写的本地SQL存在区分数据库语句、其它区分数据库的Jdbc编程代码。 # 2、数据库内容迁移如果迁入库是成熟的商业数据库，一般会提供迁移工具，基于迁移工具进行迁移后进行测试调整，然后生成开箱即用脚本即可，工作量相对来说比较小。如果迁入库是开源库，没有迁移工具可用，可以参考本文进行处理，工作量相对较大。 ## 2.1 表结构迁移 ### 2.1.1 迁移关注点 * 表字段定义：包括字段名、字段类型、默认值、非空约束、comment等 * 主键：主键定义语法可能存在差异性，例如关键字、语句放置位置等 * 索引：索引定义语法可能存在差异性，例如关键字、语句放置位置、索引名称的唯一性要求等 * 表comment：表comment定义语法可能存在差异性，例如关键字、语句放置位置等 * 分区：可能迁出库的表存在分区操作，要考虑兼容性 ### 2.1.2 迁移准备工作 * (**必须**)熟悉迁出库、迁入库的建表语法、建索引语法以及常用的字段类型，推荐前往官网获取，整理字段类型映射 * (可选)熟悉迁出库、迁入库的元数据信息获取方式，包括表信息、表字段信息、主键信息、索引信息 * (可选)熟悉如何使用JDBC的java.sql.DatabaseMetaData接口获取元数据信息 ### 2.1.3 迁移方案 #### 2.1.3.1 第三方工具迁移某些数据库存在第三方工具可以直接进行表结构的迁移，例如navicat、[liquibase](https://www.liquibase.org/)等，推荐使用liquibase，有免费版本使用，具体使用方式可以前往liquibase官方网站查询，其提供了CLI工具，使用命令行方式进行表结构的导入导出操作。 **方案优点**：高效、快速，不需要分析转换规则。 **方案缺点**：工具不支持的数据库无法使用，自动化迁移后需要检查特殊字段类型的功能使用，例如CLOB、BLOB、特殊的日期类型等 #### 2.1.3.2 开发迁移工具当没有第三方工具可以直接进行表结构迁移的时候，可以基于元数据信息自行开发迁移工具，这个方案要求对DDL语法、字段映射信息熟悉，同时了解元数据信息获取的方式。通过获取迁出库元数据信息，转换成迁入库的建表语句。 **方案优点**：工具自主可控，能够减少人工转换错误率，且工具可以实现重复操作。 **方案缺点**：需要前期投入人力学习和开发。 #### 2.1.3.3 人工修改此方案属于最原始的方案，通过导出迁出库的脚本，进行人工修改、测试后，形成开箱脚本。 **方案优点**：相比于开发迁移工具，通过投入大量人力可以快速形成可用脚本。 **方案缺点**：需要学习语法规则，需要投入大量人力整理脚本 ## 2.2 数据迁移 ### 2.2.1 迁移关注点 * 特殊字段类型的数据转换：对于日期、BLOB字段的数据迁移，需要特别关注 * 特殊字符转义符：字符串值中存在类似单引号的特殊字符，不同的数据库转义方式不一样 ### 2.2.2 迁移准备工作基于表结构迁移时了解的字段类型映射信息，需要了解系统是否存在特殊字段类型，此类数据要如何进行迁移处理。 ### 2.2.3 迁移方案 #### 2.2.3.1 第三方工具迁移可以寻找第三方工具进行迁移，例如[DataX](https://github.com/alibaba/DataX)、[kettle](http://www.kettle.org.cn/)等开源的ETL工具，都具备数据转换迁移能力，但是特殊的数据类型还是要考虑转换。此处不详述第三方工具的使用方式，请自行寻找相关资料了解。 #### 2.2.3.2 开发迁移工具基于准备工作中了解的特殊字段处理，自行开发数据迁移工具，可以直接迁移，或者生成数据脚本。 ## 2.3 视图 ### 2.3.1 迁移关注点 * 迁入库的视图创建语法 * 不同数据库对关联查询语法的兼容性不一样，例如PG库要求join后面必须带on条件 * 是否使用数据库特殊的函数或者语法，可能需要进行转换 ### 2.3.2 迁移准备工作熟悉迁出库、迁入库的视图创建语法，以及迁入库遇到特殊函数不支持的情况下，需要了解替换方案。 ### 2.3.3 迁移方案 #### 2.3.3.1 人工修改对于视图来说，只能导出迁出库的视图进行人工修改，一般简单修改创建语句后在迁入库执行，比较简单，遇到特殊函数或者语法不兼容才需要额外处理。 ## 2.4 其它特殊内容 ### 2.4.1 存储过程如果项目存在使用存储过程，那么需要分析每个存储过程的内容，基于新数据库进行重写。 ### 2.4.2 函数如果项目存在使用自定义函数，那么需要分析每个函数的内容，基于新数据库进行重写。 # 3、平台组件适配 ### 3.1 数据库驱动在平台的父pom文件中添加新数据库的驱动包依赖版本管理，例如： ```xml org.postgresql postgresql 42.2.26 ``` 一般在zfs-jpa-component组件的pom文件里面添加依赖，例如： ```xml org.postgresql postgresql ``` 也可以根据实际情况自行选择添加依赖的方式，例如未使用平台zfs-jpa-component组件的情况。 ## 3.2 Seata适配这里指的是seata客户端适配工作，指的是seata-all组件(可能被平台改名为zfs-seata-all)。官方原生的seata仅支持mysql、oracle以及postgresql数据库，平台最新版本已通过扩展源码，添加了dm、kingbase数据库的实现。 ### 3.2.1 改造源码地址 | 产品版本 | 源码地址 | 参考分支 | | --------- | --------------------------------------------------------------------------------------- | ------------- | | 3.9.0以上 | [gitlab地址](http://192.168.4.19:18088/product_basic/third-tools/open-source-extend/seata) | 1.6.1_develop | | 3.9.0以下 | [gitlab地址](http://192.168.4.19:18088/product_basic/third-tools/seata/seata-1.4.0) | hotfix_v3.8.3 | ### 3.2.2 修改原理和关注点通过分析seata源码和数据库特性，借鉴原来已经支持的数据库类型进行扩展，例如DM的扩展参考Oracle的逻辑、kingbase的扩展参考postgresql的逻辑。基于原有的SPI机制进行新数据库的扩展，但是也存在部分类无法进行这种方式扩展，需要修改原有的类，具体改造类后面会列举。 **注意**： 1. 内嵌druid组件：seata有使用druid组件，但是它是用的内嵌druid，不受业务服务引入的外部druid版本管理，如果是seata内部出现druid报错，需要思考是不是内嵌的druid有问题(比较明显的表现是IDEA已经下载源码包的情况下，debug出现druid的class和源码不一致的现象)。如果要修改内嵌的druid代码，需要使用 [druid内嵌版本](http://192.168.4.19:18088/product_basic/third-tools/seata/druid) 进行修改后发布，seata进行依赖使用。 2. undolog脚本：seata的AT模式需要新建undolog表，需要提供新数据库的建表脚本。 ### 3.2.3 旧版本改造点(以kingbase为例) 指的是3.9.0以下的产品版本涉及代码改造点： * bom/pom.xml(为了解决内嵌的druid不支持kingbase的问题，升级了druid版本) * common/src/main/java/io/seata/common/util/LowerCaseLinkHashMap.java * rm-datasource/src/main/java/io/seata/rm/datasource/DataSourceProxy.java * rm-datasource/src/main/java/io/seata/rm/datasource/exec/kingbase/KingbaseInsertExecutor.java * rm-datasource/src/main/java/io/seata/rm/datasource/sql/struct/TableMeta.java * rm-datasource/src/main/java/io/seata/rm/datasource/sql/struct/TableRecords.java * rm-datasource/src/main/java/io/seata/rm/datasource/sql/struct/cache/KingbaseTableMetaCache.java * rm-datasource/src/main/java/io/seata/rm/datasource/undo/kingbase/KingbaseUndoDeleteExecutor.java * rm-datasource/src/main/java/io/seata/rm/datasource/undo/kingbase/KingbaseUndoExecutorHolder.java * rm-datasource/src/main/java/io/seata/rm/datasource/undo/kingbase/KingbaseUndoInsertExecutor.java * rm-datasource/src/main/java/io/seata/rm/datasource/undo/kingbase/KingbaseUndoLogManager.java * rm-datasource/src/main/java/io/seata/rm/datasource/undo/kingbase/KingbaseUndoUpdateExecutor.java * rm-datasource/src/main/java/io/seata/rm/datasource/undo/kingbase/keyword/KingbaseKeywordChecker.java * rm-datasource/src/main/resources/META-INF/services/io.seata.rm.datasource.exec.InsertExecutor * rm-datasource/src/main/resources/META-INF/services/io.seata.rm.datasource.sql.struct.TableMetaCache * rm-datasource/src/main/resources/META-INF/services/io.seata.rm.datasource.undo.KeywordChecker * rm-datasource/src/main/resources/META-INF/services/io.seata.rm.datasource.undo.UndoExecutorHolder * rm-datasource/src/main/resources/META-INF/services/io.seata.rm.datasource.undo.UndoLogManager * rm-datasource/src/test/java/io/seata/rm/datasource/exec/BatchInsertExecutorTest.java * rm-datasource/src/test/java/io/seata/rm/datasource/exec/MultiExecutorTest.java * rm-datasource/src/test/java/io/seata/rm/datasource/sql/struct/TableMetaCacheFactoryTest.java * rm-datasource/src/test/java/io/seata/rm/datasource/sql/struct/TableRecordsTest.java * rm-datasource/src/test/java/io/seata/rm/datasource/sql/struct/cache/MysqlTableMetaCacheTest.java * rm-datasource/src/test/java/io/seata/rm/datasource/sql/struct/cache/OracleTableMetaCacheTest.java * rm-datasource/src/test/java/io/seata/rm/datasource/sql/struct/cache/PostgresqlTableMetaCacheTest.java * rm-datasource/src/test/java/io/seata/rm/datasource/undo/oracle/keyword/OracleKeywordCheckerTest.java * rm-datasource/src/test/java/io/seata/rm/datasource/undo/postgresql/keyword/PostgresqlKeywordCheckerTest.java * sqlparser/seata-sqlparser-core/src/main/java/io/seata/sqlparser/util/JdbcConstants.java * sqlparser/seata-sqlparser-druid/src/main/java/io/seata/sqlparser/druid/kingbase/BaseKingbaseRecognizer.java * sqlparser/seata-sqlparser-druid/src/main/java/io/seata/sqlparser/druid/kingbase/KingbaseDeleteRecognizer.java * sqlparser/seata-sqlparser-druid/src/main/java/io/seata/sqlparser/druid/kingbase/KingbaseInsertRecognizer.java * sqlparser/seata-sqlparser-druid/src/main/java/io/seata/sqlparser/druid/kingbase/KingbaseOperateRecognizerHolder.java * sqlparser/seata-sqlparser-druid/src/main/java/io/seata/sqlparser/druid/kingbase/KingbaseSelectForUpdateRecognizer.java * sqlparser/seata-sqlparser-druid/src/main/java/io/seata/sqlparser/druid/kingbase/KingbaseUpdateRecognizer.java * sqlparser/seata-sqlparser-druid/src/main/resources/META-INF/services/io.seata.sqlparser.druid.SQLOperateRecognizerHolder * test/src/test/java/io/seata/xa/XAModeTest2.java ### 3.2.4 新版本改造点(以kingbase为例) 指的是3.9.0以上的产品版本涉及代码改造点： * all/pom.xml * dependencies/pom.xml(为了解决内嵌的druid不支持kingbase的问题) * pom.xml * rm-datasource/src/main/java/io/seata/rm/datasource/DataSourceProxy.java * seata-kingbase/pom.xml * seata-kingbase/src/main/java/io/seata/JdbcConstants.java * seata-kingbase/src/main/java/io/seata/core/store/db/sql/lock/KingbaseLockStoreSql.java * seata-kingbase/src/main/java/io/seata/core/store/db/sql/log/KingbaseLogStoreSqls.java * seata-kingbase/src/main/java/io/seata/rm/datasource/exec/kingbase/KingbaseInsertExecutor.java * seata-kingbase/src/main/java/io/seata/rm/datasource/sql/struct/cache/kingbase/KingbaseTableMetaCache.java * seata-kingbase/src/main/java/io/seata/rm/datasource/undo/kingbase/KingbaseUndoDeleteExecutor.java * seata-kingbase/src/main/java/io/seata/rm/datasource/undo/kingbase/KingbaseUndoExecutorHolder.java * seata-kingbase/src/main/java/io/seata/rm/datasource/undo/kingbase/KingbaseUndoInsertExecutor.java * seata-kingbase/src/main/java/io/seata/rm/datasource/undo/kingbase/KingbaseUndoLogManager.java * seata-kingbase/src/main/java/io/seata/rm/datasource/undo/kingbase/KingbaseUndoUpdateExecutor.java * seata-kingbase/src/main/java/io/seata/rm/datasource/undo/kingbase/keyword/KingbaseKeywordChecker.java * seata-kingbase/src/main/java/io/seata/sqlparser/druid/kingbase/BaseKingbaseRecognizer.java * seata-kingbase/src/main/java/io/seata/sqlparser/druid/kingbase/KingbaseDeleteRecognizer.java * seata-kingbase/src/main/java/io/seata/sqlparser/druid/kingbase/KingbaseInsertRecognizer.java * seata-kingbase/src/main/java/io/seata/sqlparser/druid/kingbase/KingbaseOperateRecognizerHolder.java * seata-kingbase/src/main/java/io/seata/sqlparser/druid/kingbase/KingbaseSelectForUpdateRecognizer.java * seata-kingbase/src/main/java/io/seata/sqlparser/druid/kingbase/KingbaseUpdateRecognizer.java * seata-kingbase/src/main/resources/META-INF/services/io.seata.core.store.db.sql.lock.LockStoreSql * seata-kingbase/src/main/resources/META-INF/services/io.seata.core.store.db.sql.log.LogStoreSqls * seata-kingbase/src/main/resources/META-INF/services/io.seata.rm.datasource.exec.InsertExecutor * seata-kingbase/src/main/resources/META-INF/services/io.seata.rm.datasource.sql.struct.TableMetaCache * seata-kingbase/src/main/resources/META-INF/services/io.seata.rm.datasource.undo.UndoExecutorHolder * seata-kingbase/src/main/resources/META-INF/services/io.seata.rm.datasource.undo.UndoLogManager * seata-kingbase/src/main/resources/META-INF/services/io.seata.sqlparser.KeywordChecker * seata-kingbase/src/main/resources/META-INF/services/io.seata.sqlparser.druid.SQLOperateRecognizerHolder ### 3.2.5 自测场景清单 | 序号 | 自测场景 | 预期结果 | | ---- | -------------------------- | -------- | | 1 | 正常执行分布式事务 | 正常提交 | | 2 | 微服务出现异常是否全局回滚 | 正常回滚 | ## 3.3 liquibase适配 liquibase官方支持的数据库类型：CockroachDB、DB2、Derby、Firebird、H2、HyperSQL、Informix、INGRES、MariaDB、SQL Server、MySQL、Oracle、PostgreSQL、SQLite、Sybase。平台最新版本已通过扩展源码，添加了DM、Kingbase数据库的实现。 ### 3.3.1 改造源码地址 | 产品版本 | 源码地址 | 参考分支 | | --------- | --------------------------------------------------------- | -------- | | 3.9.0以上 | [gitlab地址](http://192.168.4.19:18088/product_basic/v2.0.0) | develop | ### 3.3.2 修改原理和关注点 liquibase主要有5类修改点： 1. **数据库类型新增**：每新增一种数据库，都需要添加数据库类型的类，以识别不同的数据库，方便后续进行判断处理 2. **元数据信息查询**：不同的数据库有不同的元数据查询SQL或方式，需要根据数据库实际情况进行调整； 3. **change的解析**：这部分需要修改的比较少，因为一般还不涉及具体的SQL生成，但是也不排除类似存储创建有特殊逻辑； 4. **字段类型的映射**：liquibase有一套公用的类型，然后映射到不同的数据库中类型 5. **最终SQL生成**：这部分是改动比较大的部分，需要根据数据实际情况生成不同的脚本SQL，一般每种数据库都有一套实现。如果数据库语法接近某个现有的数据库，那么数据库类型可以继承这个现有数据库类，以快速进行新数据库支持。 liquibase扩展数据库大部分还是基于SPI的机制进行扩展，支持设置优先级来覆盖原有或默认实现。 ### 3.3.3 改造点 1. **数据库类型新增** 在common-source/zfs-liquibase-component/src/main/java/liquibase/database/core下面新增数据库类型，注意新增的类需要在META-INF/services下面添加(SPI机制)。 2. **元数据信息查询** 修改common-source/zfs-liquibase-component/src/main/java/liquibase/snapshot下面的类，注意这里不支持SPI机制，只能修改源码来支持。 3. **change解析类** 在common-source/zfs-liquibase-component/src/main/java/liquibase/change/core下面新增自定义实现，通过设置优先级覆盖原有实现，注意新增的类需要在META-INF/services下面添加(SPI机制)。 4. **字段类型映射** 在common-source/zfs-liquibase-component/src/main/java/liquibase/datatype/core下面新增自定义实现，通过设置优先级或者指定支持的数据库类型，覆盖原有实现，注意新增的类需要在META-INF/services下面添加(SPI机制)。 5. **SQL脚本生成类** 在common-source/zfs-liquibase-component/src/main/java/liquibase/sqlgenerator/core下面新增自定义实现，通过设置优先级或者指定支持的数据库类型，覆盖原有实现，注意新增的类需要在META-INF/services下面添加(SPI机制)。 ### 3.3.4 自测场景清单需要测试liquibase常见的变更类型，详见[Liquibase使用说明#场景案例](http://tmpbbs.ztc.ztccloud.com.cn:6875/article/1128298#head288)。 ## 3.4 Sharding-JDBC适配产品3.9.0版本以前使用的是sharding-3.1.0版本，3.9.0之后的版本使用的是sharding-5.4.1版本。 sharding-3.1.0版本官方支持的数据库类型：H2、MySQL、Oracle、PostgreSQL、SQLServer。 sharding-5.4.1版本官方支持的数据库类型：H2、MariaDB、MySQL、Oracle、OpenGauss、PostgreSQL、SQLServer。平台通过源码修改扩展了DM、Kingbase数据库的支持。 ### 3.4.1 改造源码地址 | 产品版本 | 源码地址 | 参考分支 | | --------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ | ------------- | | 3.9.0以上 | [sharding扩展插件](http://192.168.4.19:18088/product_basic/third-tools/open-source-extend/shardingsphere-plugin) [sharding源码](http://192.168.4.19:18088/product_basic/third-tools/open-source-extend/shardingsphere) | 5.4.1_develop | | 3.9.0以下 | [gitlab地址](http://192.168.4.19:18088/product_basic/v2.0.0) | hotfix_v3.8.3 | ### 3.4.2 修改原理和关注点 #### 3.4.2.1 旧版本指的是3.9.0以下的产品版本，此版本是直接在平台的代码里面通过覆写sharding源码以及新增数据库实现类来支持的，具体需要修改哪些源码以及新增哪些实现类，后面会列出清单。 **关注点**： 1. 覆写类加载顺序问题：本地启动可能会存在类加载顺序无法固定导致无法生效的问题，实际服务器部署是通过平台提供的zfs-maven-plugin打包插件固化了加载顺序。 2. SQL解析器问题：SQL解析涉及此词法和语法解析，底层逻辑非常复杂，现在DM是直接使用的Oracle的解析器，Kingbase是直接使用的PostreSQL的解析器，如果新数据库没有可参考的实现，需要投入人力开发新的解析器(工作量相对较大，而且存在一定的技术难度，不一定能完美实现)。 #### 3.4.2.2 新版本指的是3.9.0以上的产品版本，此版本是基于sharding新版本的插件机制，开发新的sharding扩展插件来支持的，具体需要新增哪些类，后面会列出例子清单，建议参考一个现有的数据库实现进行改造(例如Dm参考Oracle，Kingbase参考PostgreSQL)。 **关注点**： 1. 元数据获取：数据库插件需要获取元数据信息，需要提前了解新数据库如何查询元数据信息。 2. 关键字清单：sharding需要提前配置好数据库的关键字清单，请前往新数据库官网收集。 3. 字段类型映射：sharding会通过jdbc的metadata获取支持的所有字段类型，然后将其一一映射到java.sql.Types中的类型，这部分需要进行整理比对，如果存在数据库字段不在metadata中的情况，需要提前注册到当前数据库的DatabaseMetaData类中(参考DM)； 4. SQL解析器问题：新版本同样存在SQL解析器如何开发的问题，建议优先参考相似数据库的原有实现(MySQL、Oracle、PostgreSQL)，如果新数据库没有可参考的实现，需要投入人力开发新的解析器(工作量相对较大，而且存在一定的技术难度，不一定能完美实现)。 ### 3.4.3 改造点 #### 3.4.3.1 旧版本(以kingbase为例) 指的是3.9.0以下的产品版本。代码改造点： * zfs-middleware/zfs-sharding-jdbc/src/main/java/io/shardingsphere/core/constant/DatabaseType.java * zfs-middleware/zfs-sharding-jdbc/src/main/java/io/shardingsphere/core/metadata/datasource/dialect/KingbaseDataSourceMetaData.java * zfs-middleware/zfs-sharding-jdbc/src/main/java/io/shardingsphere/core/metadata/datasource/DataSourceMetaDataFactory.java * zfs-middleware/zfs-sharding-jdbc/src/main/java/io/shardingsphere/core/parsing/lexer/LexerEngineFactory.java * zfs-middleware/zfs-sharding-jdbc/src/main/java/io/shardingsphere/core/parsing/parser/sql/dml/delete/DeleteParserFactory.java * zfs-middleware/zfs-sharding-jdbc/src/main/java/io/shardingsphere/core/parsing/parser/sql/dml/insert/InsertParserFactory.java * zfs-middleware/zfs-sharding-jdbc/src/main/java/io/shardingsphere/core/parsing/parser/sql/dml/update/UpdateParserFactory.java * zfs-middleware/zfs-sharding-jdbc/src/main/java/io/shardingsphere/core/parsing/parser/sql/dql/select/SelectParserFactory.java #### 3.4.3.2 新版本(以kingbase为例) 指的是3.9.0以上的产品版本。改造点分两块，一部分是数据库元数据相关的基础插件，一部分是数据库的语法解析器插件，以kingbase为例，清单如下： 1. kingbase数据库基础插件(shardingsphere-plugin-infra-database-kingbase): * infra/database/pom.xml(新增插件模块) * infra/database/kingbase/pom.xml * infra/database/kingbase/src/main/java/org/apache/shardingsphere/infra/database/kingbase/connector/KingbaseConnectionPropertiesParser.java * infra/database/kingbase/src/main/java/org/apache/shardingsphere/infra/database/kingbase/metadata/data/loader/KingbaseMetaDataLoader.java * infra/database/kingbase/src/main/java/org/apache/shardingsphere/infra/database/kingbase/metadata/database/KingbaseDatabaseMetaData.java * infra/database/kingbase/src/main/java/org/apache/shardingsphere/infra/database/kingbase/resultset/KingbaseResultSetMapper.java * infra/database/kingbase/src/main/java/org/apache/shardingsphere/infra/database/kingbase/type/KingbaseDatabaseType.java * infra/database/kingbase/src/main/resources/META-INF/services/org.apache.shardingsphere.infra.database.core.connector.ConnectionPropertiesParser * infra/database/kingbase/src/main/resources/META-INF/services/org.apache.shardingsphere.infra.database.core.metadata.data.loader.DialectMetaDataLoader * infra/database/kingbase/src/main/resources/META-INF/services/org.apache.shardingsphere.infra.database.core.metadata.database.DialectDatabaseMetaData * infra/database/kingbase/src/main/resources/META-INF/services/org.apache.shardingsphere.infra.database.core.resultset.DialectResultSetMapper * infra/database/kingbase/src/main/resources/META-INF/services/org.apache.shardingsphere.infra.database.core.type.DatabaseType 2. kingbase解析器插件(shardingsphere-plugin-parser-sql-kingbase): * parser/sql/pom.xml(新增插件模块) * parser/sql/kingbase/pom.xml * parser/sql/kingbase/src/main/java/org/apache/shardingsphere/sql/parser/kingbase/parser/KingbaseParserFacade.java * parser/sql/kingbase/src/main/java/org/apache/shardingsphere/sql/parser/kingbase/visitor/statement/KingbaseStatementVisitorFacade.java * parser/sql/kingbase/src/main/resources/META-INF/services/org.apache.shardingsphere.sql.parser.spi.SQLDialectParserFacade * parser/sql/kingbase/src/main/resources/META-INF/services/org.apache.shardingsphere.sql.parser.spi.SQLStatementVisitorFacade ### 3.4.4 自测场景清单 | 序号 | 自测场景 | 预期结果 | | ---- | --------------------- | -------- | | 1 | 应用启动 | 正常启动 | | 2 | 普通的增删改查SQL执行 | 正常执行 | | 3 | 复杂的关联查询 | 正常执行 | | 4 | 广播表同步 | 正常同步 | | 5 | 分片表增删改查SQL执行 | 正常执行 | ## 3.5 JPA适配 ### 3.5.1 改造源码地址 | 产品版本 | 源码地址 | 参考分支 | | -------- | --------------------------------------------------------- | -------- | | 3.7.0+ | [gitlab地址](http://192.168.4.19:18088/product_basic/v2.0.0) | develop | ### 3.5.2 修改原理和关注点 jpa的适配工作主要是需要看新数据库是否缺少hibernate方言，如果缺少则需要在zfs-jpa-component组件新增hibernate方言。 ### 3.5.3 改造点具体步骤如下：在平台的父pom文件中添加hibernate方言依赖版本管理，例如： ```xml org.postgresql postgresql 42.2.26 ``` 在zfs-jpa-component组件的pom文件里面添加依赖，例如： ```xml cn.com.kingbase KesDialect-for-hibernate4 ``` ### 3.5.4 自测场景清单 | 序号 | 自测场景 | 预期结果 | | ---- | --------------------------- | -------- | | 1 | 使用jpa正常进行增删改查操作 | 正常执行 | ## 3.6 mybatis适配 ### 3.6.1 改造源码地址 | 产品版本 | 源码地址 | 参考分支 | | ------------- | --------------------------------------------------------- | ------------- | | 3.9.0版本以上 | [gitlab地址](http://192.168.4.19:18088/product_basic/v2.0.0) | develop | | 3.9.0版本以下 | [gitlab地址](http://192.168.4.19:18088/product_basic/v2.0.0) | hotfix_v3.8.3 | ### 3.6.2 修改原理和关注点 mybatis理论上不会因为数据库不同导致需要修改代码，但是平台在zfs-mybatis-component里面做了增强使用，需要注意以下两点： 1. 3.9.0版本以下的zfs-mybatis-component，判断不同数据库的mapper文件时，获取当前数据库是通过URL自行判断的，所以新增数据库类型的时候，需要进行新增判断分支逻辑(见ZfsMybatisMapperXmlHelper类)。 2. 分页插件pagehelper是第三方组件，而分页是随着数据库不一样而语法不一样的，需要判断pagehelper是否支持，不支持需要扩充。 ### 3.6.3 改造点 1. ZfsMybatisMapperXmlHelper判断数据库类型 zfs-middleware/zfs-mybatis-component/src/main/java/cn/ztessc/mybatis/ZfsMybatisMapperXmlHelper.java 2. pagehelper的分页方言 ### 3.6.4 自测场景清单 | 序号 | 自测场景 | 预期结果 | | ---- | ---------------------- | -------------------- | | 1 | 编写数据库不同的mapper | 覆盖标准mapper的内容 | | 2 | 分页查询 | 正常分页查询 | ## 3.7 druid适配 ### 3.7.1 修改原理和关注点 druid一般不需要进行进行修改代码，但是如果使用了druid的filter，主要指的是wall这个filter，那么可能存在不支持的数据库类型，例如达梦数据库，此时按照达梦数据库官方指导，是去掉wall这个filter配置即可，其它数据库如果遇到此情况，也按此方式处理即可。 ### 3.7.2 改造点 druid配置：去掉wall过滤器 ### 3.7.3 自测场景清单 | 序号 | 自测场景 | 预期结果 | | ---- | -------------- | -------- | | 1 | 普通的增删改查 | 正常执行 | ## 3.8 全局表同步组件全局表同步组件是基于sharding的配置和数据源，进行全局表的表结构和数据同步组件，其仅在zfs-public服务启动后执行同步，涉及以下两个组件： * zfs-compare-create-db-field-starter * zfs-data-author-global-sync ### 3.8.1 改造源码地址 | 产品版本 | 源码地址 | 参考分支 | | -------- | --------------------------------------------------------- | -------- | | 不区分 | [gitlab地址](http://192.168.4.19:18088/product_basic/v2.0.0) | develop | ### 3.8.2 修改原理和关注点组件的基本原理是查询每个库的表元数据信息以及表记录总数，然后进行一一比对，发现表结构不一致或者表记录数不一致，会将zfs_sys的表结构和数据同步到不一致的服务库去。 **关注点**： * **表结构比对**：产品3.9.0之前的版本存在判断是否为oracle类型的数据库不比对字段comment，这个其实依赖于同步表结构的时候有没有同步comment，如果没有同步comment，但是又判断不是oracle类型的数据库，会导致每次比对都不一致。 * **建表的字段部分语句生成**：字段语句的生成依赖对字段类型的判断，对于必须带长度的类型，走的是不同的逻辑，有些数据库的特殊类型可能不再现有的逻辑判断范围内，导致同步的时候没有添加长度，例如本来应该是varchar(8)，但是给了varchar，从而导致出现问题。 ### 3.8.3 改造点组件zfs-compare-create-db-field-starter： * common-source/zfs-compare-create-db-field-starter/src/main/java/cn/ztessc/starter/ccdf/ColumnMeta.java * common-source/zfs-compare-create-db-field-starter/src/main/java/cn/ztessc/starter/ccdf/CompareCreateDbFieldAutoConfiguration.java 组件zfs-data-author-global-sync * zfs-middleware/zfs-data-author-global-sync/src/main/java/cn/ztessc/data/author/gt/sync/GlobalTableSyncService.java(旧版本类路径) * zfs-middleware/zfs-data-author-global-sync/src/main/java/cn/ztessc/data/author/gt/sync/service/GlobalTableSyncService.java(新版本类路径) ### 3.8.4 自测场景清单 | 序号 | 自测场景 | 预期结果 | | ---- | ----------------------------------------- | -------------- | | 1 | zfs_sys同步所有内容到其它空库(不含全局表) | 完整同步 | | 2 | zfs_sys同步所有内容到已同步的库 | 无差异，不同步 | | 3 | zfs_sys新增字段同步到已同步的库 | 同步成功 | # 4、配置文件修改 ## 4.1 数据库连接信息 * 驱动类 * URL * 用户名 * 密码 ## 4.2 hibernate方言这里重点要说明的是全局表同步组件有使用 `hibernate.dialect`这个配置来判断数据库类型，不要忘了修改。正常Spring JPA使用的hibernate方言配置如下，需要修改： ```yaml spring: jpa: properties: hibernate: dialect: org.hibernate.dialect.Oracle10gDialect ``` ## 4.3 druid的配置 ### 4.3.1 filter配置 druid有个wall过滤器，支持大部分的数据库(具体参看类com.alibaba.druid.wall.WallFilter的init方法)，但也存在例如dm、kingbase等国产数据库不支持，因此需要从配置里面去掉wall这个过滤器配置。 ### 4.3.2 校验sql 一般使用druid的时候都会配置validation-query，是校验SQL，不同的数据库语法不一样一般存在以下两种： * select 1 * slect 1 from dual 需要根据数据库实际情况进行修改 ## 4.4 sharding-jdbc配置旧版本的sharding-jdbc(3.1.0版本)一般都是修改数据库连接信息配置以及druid配置即可。新版本的sharding-jdbc(5.4.1版本)配置要注意以下两点： 1. 单表规则：两层结构和三层结构的数据库配置单表规则存在差异 * 两层结构数据库，例如mysql、oracle、dm ``` # 单表规则，如果不将其它未配置的表加入sharding管理，会报表不存在 - !SINGLE tables: # MySQL 风格 - "readwrite_ds.*" # 加载全部单表 ``` * 三层结构数据库，例如kingbase、postgresql ``` # 单表规则，如果不将其它未配置的表加入sharding管理，会报表不存在 - !SINGLE tables: # PostgreSQL 风格 - "readwrite_ds.zfs_sys.*" ``` 2. 指定当前schema，针对三层结构的数据库，需要指定当前schema： ``` #公共属性 props: #设置当前schema，否则对于pg或者kingbase查询需要带上schema currentSchema: zfs_sys ``` sharding新版本的配置参考：[配置说明文档](https://www.tapd.cn/67410840/markdown_wikis/show/#1167410840001017520) # 5、业务代码适配 ## 5.1 mybatis的mapper文件 mybatis的mapper文件可能存在区分数据库的文件，需要业务服务自行检查，存在则考虑新增数据库的实现。 ## 5.2 liquibase脚本 liquibase的changelog脚本中存在区分数据库的changeSet，需要业务服务自行检查，存在则考虑新增数据库的实现。注意：自定义实现类里面如果存在区分数据库的写法，也要考虑进来。 ## 5.3 JPA的本地SQL 代码里面有根据不同数据库自行拼接SQL，然后执行jpa native sql的，需要业务服务自行检查，存在则考虑新增数据库的实现。 ## 5.4 其它自行实现的jdbc编程存在使用jdbc编程，而不是通过mybatis或者jpa的方式，需要业务服务检查是否存在区分数据库的写法，如果存在则考虑新增数据库实现。 # 6、附录 ## 6.1 第三方组件支持数据库 | 组件 | 官方支持 | 平台扩展支持 | | ------------------------ | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------ | | seata | MySQL、Oracle、PostgreSQL | DM、Kingbase | | liquiabse-4.17.2 | CockroachDB、DB2、Derby、Firebird、H2、HyperSQL、Informix、
INGRES、MariaDB、SQL Server、MySQL、Oracle、PostgreSQL、
SQLite、Sybase | DM、Kingbase | | sharding-jdbc-3.1.0 | H2、MySQL、Oracle、PostgreSQL、SQLServer | DM、Kingbase | | sharding-jdbc-5.4.1 | H2、MariaDB、MySQL、Oracle、OpenGauss、PostgreSQL、SQLServer | DM、Kingbase | | pagehelper-5.3.3 | hsqldb、h2、phoenix、postgresql、mysql、mariadb、sqlite、herddb、
oracle、db2、as400、informix、sqlserver、derby、dm、edb、oscar、
clickhouse、highgo、xugu、impala、firebirdsql、kingbase、xcloud、
opengauss | | | druid-1.2.1(wallFilter) | mysql、oceanbase、drds、mariadb、h2、presto、oracle、sqlserver、
jtds、postgresql、edb、polardb、db2、sqlite | | | druid-1.2.20(wallFilter) | mysql、oceanbase、drds、mariadb、tidb、h2、presto、trino、
oracle、sqlserver、jtds、postgresql、edb、polardb、greenplum、
gaussdb、db2、sqlite、clickhouse | | ## 6.2 各项工作工时预估 | 事项 | 工时预估 | 说明 | | ----------------------- | --------------------------------------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | 数据库内容迁移 | 待定 | 这部分需要根据实际方案判断，无法提前预估 | | 平台组件-seata适配 | 存在可参考数据库：2人/天
不存在可参考数据库：待定 | 不存在可参考数据库的情况下需要自行实现SQL解析，难度较大，暂时无法预估工作量 | | 平台组件-liquibase适配 | 存在可参考数据库：3人/天
不存在可参考数据库：15人/天 | 存在可参考的数据库，也需要视相似程度，如果元数据、字段类型等存在较大差异性，则工作量存在上升可能；
不存在可参考数据库的情况下，要完全适配，可能存在大量的数据库特性，工作量比较大 | | 平台组件-sharding适配 | 存在可参考数据库：2人/天
不存在可参考数据库：待定 | 不存在可参考数据库的情况下需要自行实现SQL解析，难度较大，暂时无法预估工作量 | | 平台组件-jpa适配 | 0.5人/天 | | | 平台组件-druid适配 | 0.2人/天 | | | 平台组件-全局表同步组件 | 2人/天 | | | 配置文件修改 | 0.5人/天 | | | 业务代码适配 | 待定 | 这部分需要根据业务服务的实际情况进行预估 |

数据库类型切换帮助手册

数据库类型切换帮助手册

关于作者

目录