业务让我实现一个排队导出功能

前言

事务诉求：考虑到数据库数据日渐增多，导出会有全量数据的导出，多人一起导出能够会对服务功用造成影响，导出触及到mysql查询的io操作，还触及文件输入、输出流的io操作，所以对服务器的功用会影响的比较大；结合以上原因，对导出操作进行排队；

刚开始拿到这个需求，第一时刻想到就是需求保护一个FIFO先进先出的行列，给定行列一个固定size，在行列里面的人进行排队进行数据导出，导出完成后立马出行列，下一个排队的人进行操作；还考虑到异步，可能还需求建个文件导出表，主要记录文件的导出状况，文件的寄存地址，用户依据文件列表状况下载导出文件。

事务关系定义

分别是用户、导出行列、导出履行办法 ExportQueue：保护一条定长行列，能够获取行列里前后排队的用户，提供查询，行列假如现已满了，其他的人需求进行等候 User信息：排队履行导出办法对应用户； Export类：定义导出办法，异步履行，用户能够经过导出页面检查、下载，导出的文件；

详细代码完成

ExportQueue行列

package com.example.system.config;
import com.example.system.api.domain.ExportUser;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;
import java.util.LinkedList;
@Slf4j
@Component
public class ExportQueue {
    private final int MAX_CAPACITY = 10; // 行列最大容量
    private LinkedList<ExportUser> queue; // 用户行列
    public ExportQueue(LinkedList<ExportUser> queue) {
        this.queue = new LinkedList<>();
    }
    /**
     * 排队行列添加
     * @param sysUser
     */
    public synchronized LinkedList<ExportUser> add(ExportUser sysUser) {
        while (queue.size() >= MAX_CAPACITY) {
            try {
                log.info("当前排队人已满，请等候");
                wait();
            } catch (InterruptedException e) {
                e.getMessage();
            }
        }
        queue.add(sysUser);
        log.info("现在导出行列排队人数：" + queue.size());
        notifyAll();
        return queue;
    }
    /**
     * 获取排队行列下一个人
     * @return
     */
    public synchronized ExportUser getNextSysUser() {
        while (queue.isEmpty()) {
            try {
                wait();
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
        ExportUser sysUser = queue.remove();
        notifyAll(); //唤醒
        return sysUser;
    }
}

AbstractExport导出类

• 引进EasyExcel百万级别的导出功用

package com.example.system.config;
import cn.hutool.core.bean.BeanUtil;
import cn.hutool.core.util.PageUtil;
import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.ExcelWriter;
import com.alibaba.excel.write.metadata.WriteSheet;
import com.example.system.api.domain.ExportUser;
import lombok.extern.slf4j.Slf4j;
import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.net.URLEncoder;
import java.util.List;
@Slf4j
public abstract class AbstractExport<T, K> {
    public abstract void export(ExportUser sysUser) throws InterruptedException;
    /**
     * 导出
     *
     * @param response 输出流
     * @param pageSize 每页大小
     * @param t        导出条件
     * @param k        Excel内容实体类
     * @param fileName 文件名称
     */
    public void export(HttpServletResponse response, int pageSize, T t, Class<K> k, String fileName) throws Exception {
        ExcelWriter writer = null;
        try {
            writer = getExcelWriter(response, fileName);
            //查询导出总条数
            int total = this.countExport(t);
            //页数
            int loopCount = PageUtil.totalPage(total, pageSize);
            BeanUtil.setProperty(t, "pageSize", pageSize);
            for (int i = 0; i < loopCount; i++) {
                //开始页
                BeanUtil.setProperty(t, "pageNum", PageUtil.getStart(i + 1, pageSize));
                //获取Excel导出信息
                List<K> kList = this.getExportDetail(t);
                WriteSheet writeSheet = EasyExcel.writerSheet(fileName).head(k).build();
                writer.write(kList, writeSheet);
            }
        } catch (Exception e) {
            String msg = "导出" + fileName + "反常";
            log.error(msg, e);
            throw new Exception(msg + e);
        } finally {
            if (writer != null) {
                writer.finish();
            }
        }
    }
    public com.alibaba.excel.ExcelWriter getExcelWriter(HttpServletResponse response, String fileName) throws IOException {
        response.setContentType("application/vnd.ms-excel");
        response.setCharacterEncoding("utf-8");
        // 这里URLEncoder.encode能够防止中文乱码 当然和easyexcel没有关系
        String fileNameUtf = URLEncoder.encode(fileName, "UTF-8").replaceAll("\\+", "%20");
        response.setHeader("Content-disposition", "attachment;filename*=utf-8''" + fileNameUtf + ".xlsx");
        return EasyExcel.write(response.getOutputStream()).build();
    }
    /**
     * （模版导出）
     *
     * @param t
     * @param fileName
     * @param response
     */
    public abstract void complexFillWithTable(T t, String fileName, HttpServletResponse response);
    /**
     * 查询导出总条数
     *
     * @param t
     * @return
     */
    public abstract int countExport(T t);
    /**
     * 查询导出数据
     *
     * @param t
     * @return
     */
    public abstract List<K> getExportDetail(T t);
}

ExportImpl导出完成办法

package com.example.system.service.impl;
import com.alibaba.excel.ExcelWriter;
import com.example.system.api.domain.ExportUser;
import com.example.system.config.AbstractExport;
import com.example.system.config.ExportQueue;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import javax.servlet.http.HttpServletResponse;
import java.io.IOException;
import java.util.LinkedList;
import java.util.List;
@Service
@Slf4j
public class ExportImpl extends AbstractExport {
    @Autowired
    private ExportQueue exportQueue;
    @Override
    public void export(ExportUser sysUser) throws InterruptedException {
        //导出
        log.info("导出文件办法履行～～～～～～～～～");
//        export(response,pageSize,t,k,fileName);
        LinkedList<ExportUser> queue = exportQueue.add(sysUser);
        log.info("导出行列：" + queue);
        //休眠时刻稍微设置大点，模仿导出处理时刻
        Thread.sleep(20000);
        //导出成功后移除当前导出用户
        ExportUser nextSysUser = exportQueue.getNextSysUser();
        log.info("移除后获取下一个排队的用户: " + nextSysUser.getUserName());
    }
    @Override
    public void export(HttpServletResponse response, int pageSize, Object o, Class k, String fileName) throws Exception {
        super.export(response, pageSize, o, k, fileName);
    }
    @Override
    public ExcelWriter getExcelWriter(HttpServletResponse response, String fileName) throws IOException {
        return super.getExcelWriter(response, fileName);
    }
    @Override
    public void complexFillWithTable(Object o, String fileName, HttpServletResponse response) {
    }
    @Override
    public int countExport(Object o) {
        return 0;
    }
    @Override
    public List getExportDetail(Object o) {
        return null;
    }
}

测验controller

package com.example.system.controller;
import com.example.system.api.domain.ExportUser;
import com.example.system.api.domain.SysUser;
import com.example.system.service.impl.ExportImpl;
import lombok.SneakyThrows;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
@RequestMapping("/export")
@Slf4j
public class ExportController {
    @Autowired
    private ExportImpl export;
    @PostMapping("/exportFile")
    public void exportFile() {
            new Thread(new Runnable() {
                @SneakyThrows
                @Override
                public void run() {
                    Thread thread1 = Thread.currentThread();
                    ExportUser sysUser =new ExportUser();
                    sysUser.setUserName(thread1.getName());
                    export.export(sysUser);
                }
            }).start();
        }
}

测验结果

• 经过恳求测验办法，约束了咱们导出行列最大约束10次，行列场长度超越10次则无法进行继续提交；

• 第一次恳求和第2次恳求，间隔10秒，第一个用户导出完成后出列，下一个排队用户在行列首位，在进行导出恳求排在上一个用户后边；

总结

⚠️其他的还未完成，导出文件的表的规划、oss文件上传、用户导出文件下载，还有高并发的场景下会不会呈现什么问题，这些都还没有太考虑进去； 完成的方式应该挺多的，Redis的行列应该也是能够的，这里只是提供一个完成思路；