**背景：智算平台是一个高度开放的数据处理系统，其需要支持多种关系型和非关系型数据库，目前已支持mysql、oracle、pgsql、kingbase、达梦、sqlserver六种关系型数据库，随着项目业务扩展，后续可能需要引入适配更多类型数据库。以下以sqlserver数据库适配过程为例，详细说明其开发适配方法。** --- # 一、pom依赖引入jdbc ``` com.microsoft.sqlserver sqljdbc4 ``` # 二、liquibase适配未做特殊适配，后续如存在无法适配情况，需补充该场景。 # 三、mybatis 和 JPA 适配未做特殊适配，后续如存在无法适配情况，需补充该场景。 # 四、新增集团多租户物理隔离适配 1、新增数据字典-数据连接类型 ``` groupCode,dictCode,dictCnName,dictEnName,dictPcode @{groupCode},SqlServer,SqlServer,SqlServer,CONNECT_TYPE @{groupCode},SQL_SERVER,SqlServer,SqlServer,FILE_DATA_SOURCE @{groupCode},SQL_SERVER,SQL_SERVER,SQL_SERVER,DATA_SUB_CATEGORY ``` 2、新增枚举cn.zfs.tenant.datasource.common.enums.DbType ``` /** * SQLSERVER. */ SQLSERVER("sqlserver", "com.microsoft.sqlserver.jdbc.SQLServerDriver", VALIDITY_SQL), ``` 3、public新增配置文件 src/main/resources/META-INF/services/cn.zfs.tenant.datasource.creator.DbOperation ![image.png](http://tmpbbs.ztc.ztccloud.com.cn:6875/developers-server/rest/file/group1/2024/06/17/9F46917F3945191E34B5B1B7B2AE12FF.png) 继承AbstractDbOperation实现其内方法 cn.zfs.tenant.datasource.creator.sqlserver.SqlServerOperation ``` public class SqlServerOperation extends AbstractDbOperation { private static Logger logger = LoggerFactory.getLogger(SqlServerOperation.class); /** * 默认URL的格式，参数顺序：1、IP；2、端口；3、数据库名；4、模式名. */ private static final String DEFAULT_URL_FORMAT = "jdbc:sqlserver://%s:%s;DatabaseName=%s"; /** * 获取数据库类型. * * @return 数据库类型 */ @Override public DbType getDbType() { return DbType.SQLSERVER; } /** * 创建schema(在已有的database和用户下创建schema). * * @param datasource 数据源 * @param newSchema 新schema名 * @return 新的schema的数据源连接信息 * @throws SQLException SQL异常 */ @Override public DatasourceInfo createSchema(WrapDatasource datasource, String newSchema) throws SQLException { Db db = Db.use(datasource.getDataSource()); //构建SQL String createSchemaSql = String.format("CREATE SCHEMA %s AUTHORIZATION %s ", newSchema, datasource.getUsername()); String alterOwnerSql = String.format("GRANT ALL ON SCHEMA::%s TO %s", newSchema, datasource.getUsername()); db.executeBatch(createSchemaSql, alterOwnerSql); return buildDatasourceInfo(datasource, newSchema); } /** * 创建默认的URL. * * @param host IP * @param port 端口 * @param database 数据库名 * @param schema 模式名 * @return 数据库默认连接URL */ @Override public String createDefaultUrl(String host, String port, String database, String schema) { checkUrlHost(host); checkUrlPort(port); checkUrlDatabase(database); checkUrlSchema(schema); return String.format(DEFAULT_URL_FORMAT, host, port, database); } /** * 根据原始URL生成新的URL. * * @param originalUrl 原始连接URL * @param oldSchema 旧的schema名 * @param newSchema 新的schema名 * @return 新schema的URL */ @Override protected String getNewSchemaUrl(String originalUrl, String oldSchema, String newSchema) { //增加前缀，降低识别出错率 String oldSchemaStr = PG_SCHEMA_STR + oldSchema; String newSchemaStr = PG_SCHEMA_STR + newSchema; return replaceIgnoreCase(originalUrl, oldSchemaStr, newSchemaStr); } /** * 获取新的用户名. * * @param originalUsername 原始用户名 * @param newSchema 新的schema名 * @return 新的用户名 */ @Override protected String getNewUsername(String originalUsername, String newSchema) { return originalUsername; } @SuppressWarnings("checkstyle:MagicNumber") @Override public Map parseUrl(String url) { if (StrUtil.isBlank(url)) { return new HashMap<>(0); } Map dataInfo = new HashMap<>(2); URI uri = null; try { // 去除 "jdbc:" 前缀 uri = new URI(url.substring(5)); dataInfo.put("dbName", uri.getPath().substring(1)); } catch (URISyntaxException e) { logger.error("路径解析错误", e); } return dataInfo; } } ``` 继承BaseFilterCoverSql 重新方法 ``` public class CoverBySqlServer extends BaseFilterCoverSql { @Override public String convertFieldName(String fieldName, String dataType) { if (StrUtil.equals(DataTypeEnum.STRING.getCode(), dataType)) { // 字符串类型 CAST(Column6 AS NVARCHAR(MAX)) if (!StrUtil.startWith(fieldName, "CAST(") && !StrUtil.endWith(fieldName, "AS NVARCHAR(MAX))")) { return "CAST( " + fieldName + " AS NVARCHAR(MAX))"; } } return fieldName; } /** * Simply add an underscore to start. * * @return String */ @Override public String getStartQuote() { return "["; } /** * Simply add an underscore to end. * * @return String */ @Override public String getEndQuote() { return "]"; } } ``` 修改cn.zfs.common.util.sql.operator.impl.FilterCoverSqlFactory#registerByType方法，增加一些特定处理 ![image.png](http://tmpbbs.ztc.ztccloud.com.cn:6875/developers-server/rest/file/group1/2024/06/17/9F46917F39B37F89FAA3B1B7B2AE1302.png) # 五、网盘数据连接适配 1、新增SqlServerDataConnectHandle完成数据连接分发，生成connection ``` @Component @SuppressWarnings({"java:S1192"}) public class SqlServerDataConnectHandle extends AbstractDbDataConnectHandle { /** * url模板."jdbc:sqlserver://" + ip + ":" + port + ";DatabaseName=" + dbname; */ private final String urlTemplate = "jdbc:sqlserver://{}:{};DatabaseName={}"; @Override public DataConnection getConnection(DbDataConnectDto dbDataConnectDto) { try { String databaseSchema = StrUtil.isBlank(dbDataConnectDto.getDatabaseSchema()) ? "dbo" : dbDataConnectDto.getDatabaseSchema(); String dbName = StringUtils.isNotEmpty(dbDataConnectDto.getDatabaseName()) ? dbDataConnectDto.getDatabaseName() : "dbo"; String jdbcUrl = StrUtil.format(urlTemplate, dbDataConnectDto.getIp(), dbDataConnectDto.getPort(), dbName, databaseSchema ); return new SqlServerDataConnection(dbName, databaseSchema, new ConnectInfoDto(jdbcUrl, dbDataConnectDto.getUserName(), dbDataConnectDto.getPassword())); } catch (Exception e) { throw new ZteException(e.getMessage(), e); } } @Override protected String getNdDataSubCategory() { return NdEnumType.NdDataSubCategory.SQL_SERVER.getCode(); } @Override public ConnectMetaData getConnectMetaData(List standardFieldMetaData) { return new SqlServerConnectMetaData(standardFieldMetaData); } @Override protected String getDefaultDatabaseSchema(String userName) { return "dbo"; } } ``` 以上类核心方法为getConnection，获取一个智算系统的DataConnection，后续所有针对数据库的增删改查动作都基于DataConnection对象实现。 2、新增枚举cn.zfs.net.disk.service.component.DataConnectConstant.DataTypeEnum ``` /** * postgre sql. */ SQL_SERVER("SQL_SERVER", "sqlServer数据库", SqlServerDataConnectHandle.class), ``` 通过DataTypeEnum的cn.zfs.net.disk.service.component.DataConnectConstant.DataTypeEnum#getHandleByCode方法，可获取AbstractDataConnectHandle对象，由前端传入dataType数据库类型，通过枚举匹配获取具体的AbstractDataConnectHandle实例，再通过AbstractDataConnectHandle获取特定的DataConnection实例。 3、新增cn.zfs.net.disk.service.connect.metadata.impl.SqlServerConnectMetaData类继承AbstractConnectMetaData ![image.png](http://tmpbbs.ztc.ztccloud.com.cn:6875/developers-server/rest/file/group1/2024/06/17/9F46917F3A32E98E5152B1B7B2AE1304.png) 通过该枚举类维护数据库类型和jdbc类型映射关系，通过该关系将各种各样的数据库类型转换为统一的字符串、数字、日期类型。 4、新增cn.zfs.net.disk.service.connect.connection.impl.dbimpl.SqlServerDataConnection继承DbDataConnection类 DbDataConnection是数据库适配的核心类，所有增删改查功能均基于DbDataConnection实现，其父类维护了数据源新增、更新、导入、查询等公共方法，由于各种数据库的增删查改sql格式存在差异，故重写其内的增删查改sql语法即可实现数据库的适配。核心方法如下： ①cn.zfs.net.disk.service.connect.connection.impl.dbimpl.SqlServerDataConnection#getDbConnection 获取一个JDBC数据连接 ②cn.zfs.net.disk.service.connect.connection.impl.dbimpl.SqlServerDataConnection#getDbPageQueryTableSqlPreparedStatement 查询数据库内表清单的分页查询预编译语句 ③cn.zfs.net.disk.service.connect.connection.impl.dbimpl.SqlServerDataConnection#getDbTableDataCountSql 查询数据表内符合条件数据条数sql ④cn.zfs.net.disk.service.connect.connection.impl.dbimpl.SqlServerDataConnection#getConnectMetaData 获取数据表的元信息，包括字段名、字段类型、长度、精度等信息 ⑤cn.zfs.net.disk.service.connect.connection.impl.dbimpl.SqlServerDataConnection#getDbSelectDataSql 组装分页查询sql ⑥cn.zfs.net.disk.service.connect.connection.impl.dbimpl.SqlServerDataConnection#splitCreateTableSql 拆分重构建表语句，建表语句由父类使用阿帕奇的建表工具生成，针对一些特殊字段类型或者特殊数据库存在不兼容现象，通过该方法重构建表语句。 ⑦cn.zfs.net.disk.service.connect.connection.impl.dbimpl.SqlServerDataConnection#getDbInsertDataSql 组装批量插入语句 ⑧cn.zfs.net.disk.service.connect.connection.impl.dbimpl.SqlServerDataConnection#checkTableExist 检查数据库内表是否存在 ⑨cn.zfs.net.disk.service.connect.connection.impl.dbimpl.SqlServerDataConnection#getDropTableSql 获取删表语句 ⑩cn.zfs.net.disk.service.connect.connection.impl.dbimpl.SqlServerDataConnection#getQuerySqlTableFieldSql 查询表字段信息 11、cn.zfs.net.disk.service.connect.connection.impl.dbimpl.SqlServerDataConnection#getCopySql 复制表 12、cn.zfs.net.disk.service.connect.connection.impl.dbimpl.SqlServerDataConnection#getSizeSql 获取表的磁盘大小 13、cn.zfs.net.disk.service.connect.connection.impl.dbimpl.SqlServerDataConnection#listTableFieldBySelectSql 获取指定sql查询结果的字段信息

智算平台关系型数据库适配手册

智算平台关系型数据库适配手册

关于作者

目录