系统备份优化（附件增量备份，备份日志）

杜洪波

2025-06-18 466d488372f884883fa02cc3ca9877b073fe39c9

 src/main/java/com/product/system/backup/service/SystemBackupServiceV1.java

ÎļþÃû´Ó src/main/java/com/product/system/backup/service/SystemBackupService2.java ÐÞ¸Ä
@@ -9,19 +9,12 @@
import java.io.InputStream;
import java.io.InputStreamReader;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.List;
import java.util.Map;
import java.util.Properties;
import java.util.stream.Collectors;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import com.alibaba.druid.util.StringUtils;
@@ -33,17 +26,16 @@
import com.jcraft.jsch.SftpException;
import com.jcraft.jsch.SftpProgressMonitor;
import com.product.core.config.Global;
import com.product.core.dao.BaseDao;
import com.product.core.entity.DataTableEntity;
import com.product.core.entity.FieldSetEntity;
import com.product.core.service.support.AbstractBaseService;
import com.product.system.backup.entity.BackupLogger;

@Service("systemBackService")
public class SystemBackupService2 extends AbstractBaseService{

   @Autowired
   BaseDao baseDao;
/**
 *    ç³»ç»Ÿå¤‡ä»½
 *   æ•°æ®åº“备份：每天执行代码备份
 *   é™„件备份：每天执行代码备份当天附件
 *   é—留问题：附件被修改，不能锁定非当天被修改的附件
 */
@Service("systemBackService1")
public class SystemBackupServiceV1 {
   
   // å¤‡ä»½é…ç½®
   Properties config;
@@ -54,80 +46,29 @@
   // æ•°å­—时间和数字日期（用做文件夹或者文件名）
   String NUMBER_TIME;   //例如（20250428091001）
   String NUMBER_DATE; //例如（20240428）
   String STANDARD_START_TIME;   // ä¾‹å¦‚（2024-04-28 09:10:00）
   String STANDARD_FINAL_TIME;   // ä¾‹å¦‚（2024-04-28 09:10:00）
   
   // æ•°å­—日期格式
   SimpleDateFormat numberTimeFormat = new SimpleDateFormat("yyyyMMddHHmm00");
   SimpleDateFormat numberTimeFormat = new SimpleDateFormat("yyyyMMddHHmmss");
   SimpleDateFormat numberDateFormat = new SimpleDateFormat("yyyyMMdd");
   SimpleDateFormat standardTimeFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:00");

   // å¤‡ä»½é…ç½®æ–‡ä»¶
   private static final String CONFIG_FILE_PATH = "systemBackup.properties";
   
   /**
    *    ç³»ç»Ÿå¤‡ä»½åˆ¤å®š
    *    ç³»ç»Ÿå¤‡ä»½å…¥å£
    *    è°ƒç”¨åœ°ç‚¹ï¼šå®šæ—¶ä»»åŠ¡é…ç½®åŠŸèƒ½(bean)
    */
   public void systemBackupInit() {
      // èŽ·å–系统时间
      Date finalTime = new Date();
      Date startTime = null;
      // èŽ·å–系统备份周期(分钟)
      int backupCycle = Integer.valueOf(Global.getSystemConfig("SYSTEM_BACK_CYCLE", "20"));
      // èŽ·å–系统最大备份时间
      StringBuilder sbSql = new StringBuilder();
      sbSql.append("SELECT TIMESTAMPDIFF(MINUTE, end_time, ?) AS diff_minutes,end_time \n");
      sbSql.append("FROM product_sys_backup_log \n");
      sbSql.append("WHERE backup_status = 1 \n");
      sbSql.append("ORDER BY end_time DESC \n");
      sbSql.append("LIMIT 1 \n");
      FieldSetEntity fseMaxLogTime = baseDao.getFieldSetEntityBySQL(sbSql.toString(), new Object[] {standardTimeFormat.format(finalTime)}, false);
      if(fseMaxLogTime != null && !StringUtils.isEmpty(fseMaxLogTime.getString("diff_minutes"))) {
         Integer diffMinutes = fseMaxLogTime.getInteger("diff_minutes");
         if (diffMinutes < backupCycle) {
            // å°äºŽå¤‡ä»½å‘¨æœŸï¼Œä¸å¤‡ä»½
            return ;
         }
         startTime = fseMaxLogTime.getDate("end_time");
      }
      try {
         // æ‰§è¡Œå¤‡ä»½
         systemBackup(startTime, finalTime);
      } catch (Exception e) {
         e.printStackTrace();
      } 
      FieldSetEntity fseBackLog = new FieldSetEntity("product_sys_backup_log");
      fseBackLog.setValue("start_time", startTime);
      fseBackLog.setValue("end_time", finalTime);
      fseBackLog.setValue("backup_status", 1);
      baseDao.saveFieldSetEntity(fseBackLog);
   }
	
   /**
    *    ç³»ç»Ÿå¤‡ä»½å…¥å£
    * 	
    */
   public void systemBackup(Date startTime, Date finalTime){
		
      // åˆå§‹æ—¥å¿—文件
      log = new BackupLogger();
      // åœ¨æ—¥å¿—中记录操作系统信息，便于调试
      log.writeInfo("【系统备份入口】操作系统: " + System.getProperty("os.name"), BackupLogger.INFO_TYPE);
      log.writeInfo("【系统备份入口】文件分隔符: " + File.separator, BackupLogger.INFO_TYPE);
      log.writeInfo("【系统备份入口】系统备份开始..................", BackupLogger.INFO_TYPE);
      NUMBER_TIME = numberTimeFormat.format(finalTime);
      NUMBER_DATE = numberDateFormat.format(finalTime);
      if(startTime == null) {
         STANDARD_START_TIME = "2000-01-01 00:00:00";
      } else {
         STANDARD_START_TIME = standardTimeFormat.format(startTime);
      }
      STANDARD_FINAL_TIME = standardTimeFormat.format(finalTime);
      NUMBER_TIME = numberTimeFormat.format(new Date());
      NUMBER_DATE = numberDateFormat.format(new Date());
      log.writeInfo("【系统备份入口】系统日期：" + NUMBER_DATE, BackupLogger.INFO_TYPE);
      log.writeInfo("【系统备份入口】系统时间：" + NUMBER_TIME, BackupLogger.INFO_TYPE);
      log.writeInfo("【系统本分入口】系统备份开始时间：" + STANDARD_START_TIME, BackupLogger.INFO_TYPE);
      log.writeInfo("【系统备份入口】系统备份截止时间：" + STANDARD_FINAL_TIME, BackupLogger.INFO_TYPE);
      // è¿›å…¥å¤‡ä»½è¿›ç¨‹
      backupProcess();
      log.closeLogger();
@@ -153,7 +94,8 @@
      if (!status)
         return;
      // ç¬¬å››æ­¥ï¼šä¸Šä¼ åŽ‹ç¼©å¤‡ä»½æ–‡ä»¶åˆ°FTP
      status = sftpTransferService();
      status = sftpTransferService(true);
//      uploadBackupMachine2();
      if (!status)
         return;
      // ç¬¬äº”步：清除数据
@@ -179,8 +121,8 @@
         // èŽ·å–系统文件路径
         String systemFileFolder = Global.getSystemConfig("local.dir", "");
         File newFile= new File(systemFileFolder);
         // ç³»ç»Ÿé™„件存放目录
         config.setProperty("DOCUMENT_ROOT", newFile.getAbsolutePath() + File.separator + "00000000-0000-0000-0000-000000000000");
         // ç³»ç»Ÿé™„件存放目录(当天附件)
         config.setProperty("DOCUMENT_ROOT", newFile.getAbsolutePath() + File.separator + "00000000-0000-0000-0000-000000000000" + File.separator + NUMBER_DATE);
         // æ•°æ®åº“备份目录（数据库备份根目录+时间文件名+.sql）
         config.setProperty("DATABASE_BACKUP", config.getProperty("DATABASE_ROOT") + File.separator + NUMBER_TIME + ".sql");
         // å¤‡ä»½ç›®æ ‡æ–‡ä»¶ï¼ˆZIP备份根目录+时间文件名+.zip）
@@ -279,6 +221,21 @@
        return true;
   }

   private static void addFolderToZip(File folder, String parentPath, ZipOutputStream zos) throws IOException {
        File[] files = folder.listFiles();
        if (files != null) {
            for (File file : files) {
                if (file.isDirectory()) {
                    // é€’归处理子目录，保持路径结构
                    addFolderToZip(file, parentPath + file.getName() + "/", zos);
                } else {
                    // æ·»åŠ æ–‡ä»¶åˆ°ZIP，保持路径结构
                    addFileToZip(file, parentPath + file.getName(), zos);
                }
            }
        }
    }
    
    private static void addFileToZip(File file, String entryName, ZipOutputStream zos) throws IOException {
        try (FileInputStream fis = new FileInputStream(file)) {
            zos.putNextEntry(new ZipEntry(entryName));
@@ -292,37 +249,8 @@
    }
    
    /**
     *    åŽ‹ç¼©å¢žé‡é™„件
     * @param groupFolderFile   å¢žé‡æ–‡ä»¶å¤¹ï¼Œæ–‡ä»¶å
     * @param baseDir         é™„件根目录
     * @param outputZipPath      åŽ‹ç¼©æ–‡ä»¶
     * @throws IOException
     *    ç¬¬ä¸‰æ­¥ï¼šåŽ‹ç¼©å¤‡ä»½æ–‡ä»¶
     */
    public static void compressExistingFiles(Map<Integer, List<String>> groupFolderFile, String baseDir, ZipOutputStream zos) throws IOException {
       for (Map.Entry<Integer, List<String>> entry : groupFolderFile.entrySet()) {
          int folderName = entry.getKey(); // æ–‡ä»¶å¤¹åï¼ˆå¦‚ 20250611）
            List<String> files = entry.getValue(); // è¯¥æ–‡ä»¶å¤¹ä¸‹çš„文件名列表
            Path folderPath = Paths.get(baseDir).resolve(String.valueOf(folderName));
            for (String fileName : files) {
                Path filePath = folderPath.resolve(fileName);
                // æ£€æŸ¥æ–‡ä»¶æ˜¯å¦å­˜åœ¨
                if (Files.exists(filePath) && !Files.isDirectory(filePath)) {
                    // è®¡ç®— ZIP å†…的相对路径（如 "20250611/file1.txt"）
                    ZipEntry zipEntry = new ZipEntry(
                        String.valueOf(folderName) + "/" + fileName
                    );
                    zos.putNextEntry(zipEntry);

                    // å†™å…¥æ–‡ä»¶å†…容到 ZIP
                    Files.copy(filePath, zos);
                    zos.closeEntry();
                } else {
                    System.err.println("文件不存在或不是文件: " + filePath);
                }
            }
        }
    }
    
    public boolean zipDataBackup() {
       log.writeInfo("【压缩备份文件】开始压缩备份文件..................", BackupLogger.INFO_TYPE);
      String documentPath = config.getProperty("DOCUMENT_ROOT");
@@ -331,40 +259,25 @@
        log.writeInfo("【压缩备份文件】附件存储目录路径：" + documentPath, BackupLogger.INFO_TYPE);
        log.writeInfo("【压缩备份文件】数据库备份完整路径：" + databasePath, BackupLogger.INFO_TYPE);
        log.writeInfo("【压缩备份文件】备份压缩文件完整路径：" + zipFilePath, BackupLogger.INFO_TYPE);
    	
       try (FileOutputStream fos = new FileOutputStream(zipFilePath);
                ZipOutputStream zos = new ZipOutputStream(fos)){
          StringBuilder sbSql = new StringBuilder();
           sbSql.append("SELECT SUBSTRING_INDEX(attachment_url, '/', -1) id,attachment_title AS uuid,attachment_url \n");
           sbSql.append("FROM product_sys_attachments \n");
           sbSql.append("WHERE (created_utc_datetime > ? AND created_utc_datetime <= ?) \n");
           sbSql.append("AND (updated_utc_datetime > ? AND updated_utc_datetime <= ?) \n");
           DataTableEntity dtTable = baseDao.listTable(sbSql.toString(), new Object[] {STANDARD_START_TIME, STANDARD_FINAL_TIME, STANDARD_START_TIME, STANDARD_FINAL_TIME});
           if(dtTable != null && dtTable.getRows() > 0) {
              Map<Integer, List<String>> groupFolderFile = dtTable.getData().stream()
                        .collect(Collectors.groupingBy(
                            FieldSetEntity::getId,
                            Collectors.mapping(
                                FieldSetEntity::getUUID,
                                Collectors.toList()
                            )
                        ));
              log.writeInfo("【压缩备份文件】压缩系统增量附件", BackupLogger.INFO_TYPE);
              compressExistingFiles(groupFolderFile, documentPath, zos);
           }
        	
           log.writeInfo("【压缩备份文件】压缩系统附件", BackupLogger.INFO_TYPE);
           // åŽ‹ç¼©æ–‡ä»¶å¤¹ï¼ˆä¿ç•™å®Œæ•´è·¯å¾„结构）
            // æ³¨æ„ï¼šè¿™é‡Œæˆ‘们传递了根目录名称作为初始parentPath
            addFolderToZip(new File(documentPath), NUMBER_DATE + "/", zos);
         
           log.writeInfo("【压缩备份文件】压缩数据库备份文件", BackupLogger.INFO_TYPE);
            // åŽ‹ç¼©SQL文件（放在指定路径下）
            addFileToZip(new File(databasePath), "database/" + NUMBER_TIME + ".sql", zos);
    
            log.writeInfo("【压缩备份文件】压缩完成", BackupLogger.INFO_TYPE);
      } catch (IOException e) {
         e.printStackTrace();
      } finally {
         File file = new File(databasePath);
         file.delete();
         log.writeInfo("【压缩备份文件】清理数据库备份文件完成", BackupLogger.INFO_TYPE);
      }
            log.writeInfo("【压缩备份文件】压缩失败：" + e.getMessage(), BackupLogger.ERROR_TYPE);
       return false;
        }
        return true;
    }
    
    /**
@@ -372,11 +285,19 @@
     * @param isUpload    æ˜¯å¦ä¸Šä¼ 
     * @return
     */
   public boolean sftpTransferService() {
        String sftpTitle = "上传系统备份文件";;
        String localFilePath =  config.getProperty("ZIPFILE_BACKUP");   // æœ¬åœ°æ–‡ä»¶è·¯å¾„
        String sftpFilePath = config.getProperty("UPLOAD_BACKUP_DIR") + NUMBER_TIME + ".zip"; // SFTP服务文件路径;
			
   public boolean sftpTransferService(boolean isUpload) {
        String sftpTitle = null;
        String localFilePath = null;
        String sftpFilePath = null;
      if(isUpload) {
         sftpTitle = "上传系统备份文件";
         localFilePath = config.getProperty("ZIPFILE_BACKUP"); // æœ¬åœ°æ–‡ä»¶è·¯å¾„
         sftpFilePath = config.getProperty("UPLOAD_BACKUP_DIR") + NUMBER_TIME + ".zip"; // SFTP服务文件路径
      } else {
//         sftpTitle = "获取数据库备份文件";
//         localFilePath = config.getProperty("DATABASE_BACKUP"); // æœ¬åœ°æ–‡ä»¶è·¯å¾„
//         sftpFilePath = config.getProperty("DATABASE_BACKUP"); // SFTP服务文件路径
      }
      String host = config.getProperty("UPLOAD_SFTP_HOST"); // SFTP服务IP地址
        String port = config.getProperty("UPLOAD_SFTP_PORT"); // SSH端口
        String user = config.getProperty("UPLOAD_SFTP_USER"); // SFTP服务的用户名
@@ -406,6 +327,7 @@
            if (!remoteDir.startsWith("/")) {
                remoteDir = "/" + remoteDir;
            }
            if(isUpload) {
            // åˆ›å»ºå¯¹åº”目录文件夹
            createRemoteDirectory(sftpChannel, remoteDir);
            sftpChannel.put(localFilePath, sftpFilePath, new SftpProgressMonitor() {
@@ -415,6 +337,20 @@
                public boolean count(long count) { return true; }
                public void end() { log.writeInfo("【上传系统备份文件】传输完成", BackupLogger.INFO_TYPE); }
            });
            } else {
               // åˆ›å»ºå¯¹åº”目录文件夹
                File fileDirectory = new File(remoteDir);
                if (!fileDirectory.exists()) {
                   fileDirectory.mkdirs();
                }
                sftpChannel.get(localFilePath, sftpFilePath, new SftpProgressMonitor() {
                    public void init(int op, String src, String dest, long max) {
                        log.writeInfo("【获取数据库备份文件】开始传输: " + src + " -> " + dest, BackupLogger.INFO_TYPE);
                    }
                    public boolean count(long count) { return true; }
                    public void end() { log.writeInfo("【获取数据库备份文件】传输完成", BackupLogger.INFO_TYPE); }
                });
            }
            sftpChannel.exit();
            session.disconnect();
            log.writeInfo(String.format("【%s】%s成功", sftpTitle, sftpTitle), BackupLogger.INFO_TYPE);
@@ -427,7 +363,7 @@
    }
   
   /**
    *  SFTP递归创建远程目录
    *  é€’归创建远程目录
    * @param sftpChannel
    * @param remoteDir
    * @throws SftpException