SpringBoot结合Liquibase实现数据库变更管理-六虎

本文正在参与「金石方案 . 瓜分6万现金大奖」

《从零打造项目》系列文章

东西

比MyBatis Generator更强壮的代码生成器

ORM结构选型

SpringBoot项目基础设施建立

SpringBoot集成Mybatis项目实操

SpringBoot集成Mybatis Plus项目实操

SpringBoot集成Spring Data JPA项目实操

数据库改动办理

数据库改动办理：Liquibase or Flyway

SpringBoot结合Liquibase完成数据库改动办理

定时使命结构

Java定时使命技术分析

SpringBoot结合Quartz完成定时使命

SpringBoot结合XXL-JOB完成定时使命

缓存

Spring Security结合Redis完成缓存功能

安全结构

Java运用程序安全结构

Spring Security系列文章

Spring Security结合JWT完成认证与授权

开发规范

后端必知：遵从Google Java规范并引进checkstyle检查

前言

在《SpringBoot项目基础设施建立》一文中有提到过 liquibase，以及还自定义了一个 Maven 插件，或许咱们当时看到这块内容，尽管好奇但不知道该怎么运用。本文将带着咱们实操一个 SpringBoot 结合 Liquibase 的项目，看看怎么新增数据表、修正表字段、初始化数据等功能，顺带运用一下 Liquibase 模版生成器插件。

假如对 Liquibase 不了解，能够先看一下我的上一篇文章《数据库改动办理：Liquibase or Flyway》。

实操

本项目包括两个小项目，一个是 liquibase 模版生成器插件，项目名叫做 liquibase-changelog-generate，另一个项目是 liquibase 运用，叫做 springboot-liquibase。

Liquibase模版生成器插件

创立一个 maven 项目 liquibase-changelog-generate，本项目具有生成 xml 和 yaml 两种格局的 changelog，个人觉得 yaml 格局的 changelog 可读性更高。

1、导入依靠

<dependencies>
  <!-- https://mvnrepository.com/artifact/org.apache.maven/maven-plugin-api -->
  <dependency>
    <groupId>org.apache.maven</groupId>
    <artifactId>maven-plugin-api</artifactId>
    <version>3.8.6</version>
  </dependency>
  <dependency>
    <groupId>org.apache.maven.plugin-tools</groupId>
    <artifactId>maven-plugin-annotations</artifactId>
    <version>3.6.4</version>
    <scope>provided</scope>
  </dependency>
  <dependency>
    <groupId>cn.hutool</groupId>
    <artifactId>hutool-all</artifactId>
    <version>5.8.5</version>
  </dependency>
</dependencies>
<build>
  <plugins>
    <plugin>
      <groupId>org.apache.maven.plugins</groupId>
      <artifactId>maven-plugin-plugin</artifactId>
      <version>3.6.4</version>
      <!-- 插件履行指令前缀 -->
      <configuration>
        <goalPrefix>hresh</goalPrefix>
        <skipErrorNoDescriptorsFound>true</skipErrorNoDescriptorsFound>
      </configuration>
    </plugin>
    <plugin>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-maven-plugin</artifactId>
      <version>2.6.3</version>
    </plugin>
    <!-- 编码和编译和JDK版别 -->
    <plugin>
      <groupId>org.apache.maven.plugins</groupId>
      <artifactId>maven-compiler-plugin</artifactId>
      <configuration>
        <source>1.8</source>
        <target>1.8</target>
      </configuration>
    </plugin>
  </plugins>
</build>

2、定义一个接口，提早预备好共用代码，主要是判别 changelog id 是否有非法字符，而且生成 changelog name。

public interface LiquibaseChangeLog {
  default String getChangeLogFileName(String sourceFolderPath) {
    System.out.println("> Please enter the id of this change:");
    Scanner scanner = new Scanner(System.in);
    String changeId = scanner.nextLine();
    if (StrUtil.isBlank(changeId)) {
      return null;
    }
    String changeIdPattern = "^[a-z][a-z0-9_]*$";
    Pattern pattern = Pattern.compile(changeIdPattern);
    Matcher matcher = pattern.matcher(changeId);
    if (!matcher.find()) {
      System.out.println("Change id should match " + changeIdPattern);
      return null;
    }
    if (isExistedChangeId(changeId, sourceFolderPath)) {
      System.out.println("Duplicate change id :" + changeId);
      return null;
    }
    Date now = new Date();
    String timestamp = DateUtil.format(now, "yyyyMMdd_HHmmss_SSS");
    return timestamp + "__" + changeId;
  }
  default boolean isExistedChangeId(String changeId, String sourceFolderPath) {
    File file = new File(sourceFolderPath);
    File[] files = file.listFiles();
    if (null == files) {
      return false;
    }
    for (File f : files) {
      if (f.isFile()) {
        if (f.getName().contains(changeId)) {
          return true;
        }
      }
    }
    return false;
  }
}

3、每个 changelog 文件中的 changeSet 都有一个 author 属性，用来标注是谁创立的 changelog，目前我的做法是履行终端指令来获取 git 的 userName，假如有更好的完成，望不吝赐教。

public class GitUtil {
  public static String getGitUserName() {
    try {
      String cmd = "git config user.name";
      Process p = Runtime.getRuntime().exec(cmd);
      InputStream is = p.getInputStream();
      BufferedReader reader = new BufferedReader(new InputStreamReader(is));
      String line = reader.readLine();
      p.waitFor();
      is.close();
      reader.close();
      p.destroy();
      return line;
    } catch (IOException | InterruptedException e) {
      e.printStackTrace();
    }
    return "hresh";
  }
}

4、生成 xml 格局的 changelog

@Mojo(name = "generateModelChangeXml", defaultPhase = LifecyclePhase.PACKAGE)
public class LiquibaseChangeLogXml extends AbstractMojo implements LiquibaseChangeLog {
  // 装备的是本maven插件的装备，在pom运用configration标签进行装备 property便是姓名，
  // 在装备里边的标签姓名。在调用该插件的时分会看到
  @Parameter(property = "sourceFolderPath")
  private String sourceFolderPath;
  @Override
  public void execute() throws MojoExecutionException, MojoFailureException {
    System.out.println("Create a new empty model changelog in liquibase yaml file.");
    String userName = GitUtil.getGitUserName();
    String changeLogFileName = getChangeLogFileName(sourceFolderPath);
    if (StrUtil.isNotBlank(changeLogFileName)) {
      generateXmlChangeLog(changeLogFileName, userName);
    }
  }
  private void generateXmlChangeLog(String changeLogFileName, String userName) {
    String changeLogFileFullName = changeLogFileName + ".xml";
    File file = new File(sourceFolderPath, changeLogFileFullName);
    String content = "<?xml version=\"1.1\" encoding=\"UTF-8\" standalone=\"no\"?>\n"
        + "<databaseChangeLog xmlns=\"http://www.liquibase.org/xml/ns/dbchangelog\"\n"
        + "  xmlns:ext=\"http://www.liquibase.org/xml/ns/dbchangelog-ext\"\n"
        + "  xmlns:pro=\"http://www.liquibase.org/xml/ns/pro\"\n"
        + "  xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\"\n"
        + "  xsi:schemaLocation=\"http://www.liquibase.org/xml/ns/dbchangelog-ext http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-ext.xsd http://www.liquibase.org/xml/ns/pro http://www.liquibase.org/xml/ns/pro/liquibase-pro-latest.xsd http://www.liquibase.org/xml/ns/dbchangelog http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-latest.xsd\">\n"
        + "  <changeSet author=\" " + userName + "\" id=\"" + changeLogFileName + "\">\n"
        + "  </changeSet>\n"
        + "</databaseChangeLog>";
    try {
      FileWriter fw = new FileWriter(file.getAbsoluteFile());
      BufferedWriter bw = new BufferedWriter(fw);
      bw.write(content);
      bw.close();
      fw.close();
    } catch (IOException e) {
      e.printStackTrace();
    }
  }
}

5、生成 yaml 格局的 changelog

@Mojo(name = "generateModelChangeYaml", defaultPhase = LifecyclePhase.PACKAGE)
public class LiquibaseChangeLogYaml extends AbstractMojo implements LiquibaseChangeLog {
  // 装备的是本maven插件的装备，在pom运用configration标签进行装备 property便是姓名，
  // 在装备里边的标签姓名。在调用该插件的时分会看到
  @Parameter(property = "sourceFolderPath")
  private String sourceFolderPath;
  @Override
  public void execute() throws MojoExecutionException, MojoFailureException {
    System.out.println("Create a new empty model changelog in liquibase yaml file.");
    String userName = GitUtil.getGitUserName();
    String changeLogFileName = getChangeLogFileName(sourceFolderPath);
    if (StrUtil.isNotBlank(changeLogFileName)) {
      generateYamlChangeLog(changeLogFileName, userName);
    }
  }
  private void generateYamlChangeLog(String changeLogFileName, String userName) {
    String changeLogFileFullName = changeLogFileName + ".yml";
    File file = new File(sourceFolderPath, changeLogFileFullName);
    String content = "databaseChangeLog:\n"
        + "  - changeSet:\n"
        + "      id: " + changeLogFileName + "\n"
        + "      author: " + userName + "\n"
        + "      changes:";
    try {
      FileWriter fw = new FileWriter(file.getAbsoluteFile());
      BufferedWriter bw = new BufferedWriter(fw);
      bw.write(content);
      bw.close();
      fw.close();
    } catch (IOException e) {
      e.printStackTrace();
    }
  }
}

6、履行 mvn install 指令，然后会在 maven 的 repository 文件中生成对应的 jar 包。

项目整体结构如下图所示：

因为个人感觉 yaml 文件看起来比较简洁，所以尽管插件供给了两种格局，但后续我挑选 yaml 文件。

Liquibase项目

本项目仅仅演示怎么通过 Liquibase 新增数据表、修正表字段、初始化数据等功能，并不触及详细的业务功能，所以代码部分会比较少。

1、引进依靠

<parent>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-parent</artifactId>
  <version>2.6.3</version>
  <relativePath/>
</parent>
<properties>
  <java.version>1.8</java.version>
  <mysql.version>8.0.19</mysql.version>
  <org.projectlombok.version>1.18.20</org.projectlombok.version>
  <druid.version>1.1.18</druid.version>
  <liquibase.version>4.16.1</liquibase.version>
</properties>
<dependencies>
  <!-- 完成对 Spring MVC 的自动化装备 -->
  <dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
  </dependency>
  <dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>${mysql.version}</version>
    <scope>runtime</scope>
  </dependency>
  <dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>druid-spring-boot-starter</artifactId>
    <version>${druid.version}</version>
  </dependency>
  <dependency>
    <groupId>org.liquibase</groupId>
    <artifactId>liquibase-core</artifactId>
    <version>4.16.1</version>
  </dependency>
  <dependency>
    <groupId>com.baomidou</groupId>
    <artifactId>mybatis-plus-boot-starter</artifactId>
    <version>3.5.1</version>
  </dependency>
  <dependency>
    <groupId>com.baomidou</groupId>
    <artifactId>mybatis-plus</artifactId>
    <version>3.5.1</version>
  </dependency>
</dependencies>
<build>
  <plugins>
    <plugin>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-maven-plugin</artifactId>
    </plugin>
    <plugin>
      <groupId>org.liquibase</groupId>
      <artifactId>liquibase-maven-plugin</artifactId>
      <version>4.16.1</version>
      <configuration>
        <!--properties文件途径，该文件记载了数据库衔接信息等-->
        <propertyFile>src/main/resources/application.yml</propertyFile>
        <propertyFileWillOverride>true</propertyFileWillOverride>
      </configuration>
    </plugin>
    <plugin>
      <groupId>com.msdn.hresh</groupId>
      <artifactId>liquibase-changelog-generate</artifactId>
      <version>1.0-SNAPSHOT</version>
      <configuration>
        <sourceFolderPath>src/main/resources/liquibase/changelogs/
        </sourceFolderPath><!-- 当前运用根目录 -->
      </configuration>
    </plugin>
  </plugins>
</build>

2、application.yml 装备如下：

server:
  port: 8088
spring:
  application:
    name: springboot-liquibase
  datasource:
    type: com.alibaba.druid.pool.DruidDataSource
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://localhost:3306/mysql_db?serverTimezone=Hongkong&characterEncoding=utf-8&useSSL=false
    username: root
    password: root
  liquibase:
    enabled: true
    change-log: classpath:liquibase/master.xml
    # 记载版别日志表
    database-change-log-table: databasechangelog
    # 记载版别改动lock表
    database-change-log-lock-table: databasechangeloglock
mybatis:
  mapper-locations: classpath:mapper/*Mapper.xml
  configuration:
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
    lazy-loading-enabled: true
changeLogFile: src/main/resources/liquibase/master.xml
#输出文件途径装备
#outputChangeLogFile: src/main/resources/liquibase/out/out.xml

3、resources 目录下创立 Liquibase 相关文件，主要是 master.xml

<?xml version="1.0" encoding="UTF-8"?>
<databaseChangeLog xmlns="http://www.liquibase.org/xml/ns/dbchangelog"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://www.liquibase.org/xml/ns/dbchangelog http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-3.8.xsd">
  <!--  定义公共参数，供数据库中运用-->
  <property name="id" value="int(11)" dbms="mysql"/>
  <property name="time" value="timestamp" dbms="mysql"/>
  <includeAll path="liquibase/changelogs"/>
</databaseChangeLog>

还需要创立 liquibase/changelogs 目录。

4、创立一个发动类，预备发动项目

@SpringBootApplication
public class LiquibaseApplication {
  public static void main(String[] args) {
    SpringApplication.run(LiquibaseApplication.class, args);
  }
}

接下来咱们就进行测验运用 Liquibase 来进行数据库改动操控。

创立表

预备通过 Liquibase 来创立数据表，首要点击下面这个指令：

然后在操控台输入 create_table_admin，回车，咱们能够看到对应的文件如下：

咱们填充上述文件，将建表字段加进去。

databaseChangeLog:
  - changeSet:
      id: 20221124_161016_997__create_table_admin
      author: hresh
      changes:
        - createTable:
            tableName: admin
            columns:
              - column:
                  name: id
                  type: ${id}
                  autoIncrement: true
                  constraints:
                    primaryKey: true
                    nullable: false
              - column:
                  name: name
                  type: varchar(50)
              - column:
                  name: password
                  type: varchar(100)
              - column:
                  name: create_time
                  type: ${time}

关于 Liquibase yaml SQL 格局引荐去官网查询。

发动项目后，先来查看操控台输出：

接着去数据库中看 databasechangelog 表记载

以及 admin 表结构

新增表字段

运用咱们的模版生成器插件，输入 add_column_address_in_admin，回车得到一个模版文件，比如说咱们在 admin 表中新增 address 字段。

databaseChangeLog:
  - changeSet:
      id: 20221124_163754_923__add_column_address_in_admin
      author: hresh
      changes:
        - addColumn:
            tableName: admin
            columns:
              - column:
                  name: address
                  type: varchar(100)

再次重启项目，这儿我就不贴操控台输出日志了，直接去数据库中看 admin 表的改变。

创立索引

输入 create_index_in_admin，回车得到模版文件，然后填充内容：

databaseChangeLog:
  - changeSet:
      id: 20221124_164641_992__create_index_in_admin
      author: hresh
      changes:
        - createIndex:
            tableName: admin
            indexName: idx_name
            columns:
              - column:
                  name: name

查看 admin 表改变：

假如要修正索引，一般都是先删再增，删除索引能够这样写：

databaseChangeLog:
  - changeSet:
      id: 20221124_164641_992__create_index_in_admin
      author: hresh
      changes:
        - dropIndex:
            tableName: admin
            indexName: idx_name

初始化数据

输入 init_data_in_admin ，修正模版文件

databaseChangeLog:
  - changeSet:
      id: 20221124_165413_348__init_data_in_admin
      author: hresh
      changes:
        - sql:
            dbms: mysql
            sql: "insert into admin(name,password) values('hresh','1234')"
            stripComments:  true

重启项目后，能够发现数据表中多了一条记载。

关于 Liquibase 还有许多操作没介绍，等咱们实践运用时再去发掘了，这儿就不逐个介绍了。

Liquibase 好用是好用，那么有没有可视化的界面呢？答案当然是有的。

plugin-生成数据库修正文档

双击liquibase plugin面板中的liquibase:dbDoc选项，会生成数据库修正文档，默许会生成到target目录中，如下图所示

拜访index.html会展示如下页面，几乎包罗万象

关于 liquibase 的更多有意思的指令运用，能够花时间再去挖掘一下，这儿就不过多介绍了。

问题

操控台输出 liquibase.changelog Reading resource 读取了许多没必要的文件

操控台截图如下所示：

咱们查找一个 AbstractChangeLogHistoryService 文件所在位置，发现它是 liquibase-core 包下的文件，如下所示：

为什么会这样呢？首要来看下咱们关于 liquibase 的装备，如下图所示：

其间 master.xml 文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<databaseChangeLog xmlns="http://www.liquibase.org/xml/ns/dbchangelog"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://www.liquibase.org/xml/ns/dbchangelog http://www.liquibase.org/xml/ns/dbchangelog/dbchangelog-3.8.xsd">
  <property name="id" value="int(11)" dbms="mysql"/>
  <property name="time" value="timestamp" dbms="mysql"/>
  <includeAll path="liquibase/changelog/"/>
</databaseChangeLog>

从上面能够看出，resource 目录下关于 liquibase 的文件夹和 liquibase-core 中的一样，难道是因为重名导致读取了那些文件，咱们试着修正一下文件夹名称，将 changelog 改为 changelogs，顺便修正 master.xml。

再次重启项目，发现操控台就正常输出了。

简略去看了下 Liquibase 的履行流程，看看读取 changelog 时做了哪些事情，终究定位到 liquibase.integration.spring.SpringResourceAccessor 文件中的 list()办法，源码如下：

public SortedSet<String> list(String relativeTo, String path, boolean recursive, boolean includeFiles, boolean includeDirectories) throws IOException {
  String searchPath = this.getCompletePath(relativeTo, path);
  if (recursive) {
    searchPath = searchPath + "/**";
  } else {
    searchPath = searchPath + "/*";
  }
  searchPath = this.finalizeSearchPath(searchPath);
  Resource[] resources = ResourcePatternUtils.getResourcePatternResolver(this.resourceLoader).getResources(searchPath);
  SortedSet<String> returnSet = new TreeSet();
  Resource[] var9 = resources;
  int var10 = resources.length;
  for(int var11 = 0; var11 < var10; ++var11) {
    Resource resource = var9[var11];
    boolean isFile = this.resourceIsFile(resource);
    if (isFile && includeFiles) {
      returnSet.add(this.getResourcePath(resource));
    }
    if (!isFile && includeDirectories) {
      returnSet.add(this.getResourcePath(resource));
    }
  }
  return returnSet;
}

其间 searchPath 变量值为 classpath*:/liquibase/changelog/**，然后通过 ResourcePatternUtils 读取文件时，就把 liquibase-core 包下同途径的文件都扫描出来了。如下图所示：

所以咱们的应对措施暂时定为修正 changelog 目录名为 changelogs。

总结

感兴趣的朋友能够去我的 Github 下载相关代码，假如对你有所帮助，不妨 Star 一下，谢谢咱们支撑！

SpringBoot结合Liquibase实现数据库变更管理

前言

实操

Liquibase模版生成器插件

Liquibase项目

创立表

新增表字段

创立索引

初始化数据

plugin-生成数据库修正文档

问题

操控台输出 liquibase.changelog Reading resource 读取了许多没必要的文件

总结

相关文章

Android动态权限申请从未如此简单

Kotlin基础（十一）：反射和注解

Java 多线程并发 【11】ReentrantReadWriteLock

LeetCode每日一题，三数之和

作者信息

Java 多线程并发【11】ReentrantReadWriteLock