🎉 迟来的备份计划
This commit is contained in:
li-chx
parent
aefb8f865d
commit
e12a8d5db4
|
|
@ -0,0 +1,30 @@
|
||||||
|
**/.classpath
|
||||||
|
**/.dockerignore
|
||||||
|
**/.env
|
||||||
|
**/.git
|
||||||
|
**/.gitignore
|
||||||
|
**/.project
|
||||||
|
**/.settings
|
||||||
|
**/.toolstarget
|
||||||
|
**/.vs
|
||||||
|
**/.vscode
|
||||||
|
**/*.*proj.user
|
||||||
|
**/*.dbmdl
|
||||||
|
**/*.jfm
|
||||||
|
**/azds.yaml
|
||||||
|
**/bin
|
||||||
|
**/charts
|
||||||
|
**/docker-compose*
|
||||||
|
**/Dockerfile*
|
||||||
|
**/node_modules
|
||||||
|
**/npm-debug.log
|
||||||
|
**/obj
|
||||||
|
**/secrets.dev.yaml
|
||||||
|
**/values.dev.yaml
|
||||||
|
LICENSE
|
||||||
|
README.md
|
||||||
|
!**/.gitignore
|
||||||
|
!.git/HEAD
|
||||||
|
!.git/config
|
||||||
|
!.git/packed-refs
|
||||||
|
!.git/refs/heads/**
|
||||||
|
|
@ -360,4 +360,6 @@ MigrationBackup/
|
||||||
.ionide/
|
.ionide/
|
||||||
|
|
||||||
# Fody - auto-generated XML schema
|
# Fody - auto-generated XML schema
|
||||||
FodyWeavers.xsd
|
FodyWeavers.xsd
|
||||||
|
/SQLBackupToCOS/appsettings.json
|
||||||
|
/SQLBackupToCOS/appsettings.json
|
||||||
|
|
|
||||||
|
|
@ -0,0 +1,3 @@
|
||||||
|
<Solution>
|
||||||
|
<Project Path="SQLBackupToCOS/SQLBackupToCOS.csproj" />
|
||||||
|
</Solution>
|
||||||
|
|
@ -0,0 +1,145 @@
|
||||||
|
using Microsoft.Extensions.Configuration;
|
||||||
|
using Microsoft.Extensions.Hosting;
|
||||||
|
using Microsoft.Extensions.Logging;
|
||||||
|
using SQLBackupToCOS;
|
||||||
|
using System.Diagnostics;
|
||||||
|
using System.Text;
|
||||||
|
|
||||||
|
public class BackupService(ILogger<BackupService> logger, IConfiguration config, COSService cosService) : BackgroundService
|
||||||
|
{
|
||||||
|
private readonly ILogger<BackupService> _logger = logger;
|
||||||
|
private readonly IConfiguration _config = config;
|
||||||
|
private readonly COSService _cosService = cosService;
|
||||||
|
|
||||||
|
protected override async Task ExecuteAsync(CancellationToken stoppingToken)
|
||||||
|
{
|
||||||
|
var interval = TimeSpan.FromMinutes(_config.GetValue("BackupIntervalMinutes", 60));
|
||||||
|
using var timer = new PeriodicTimer(interval);
|
||||||
|
|
||||||
|
while (!stoppingToken.IsCancellationRequested)
|
||||||
|
{
|
||||||
|
try
|
||||||
|
{
|
||||||
|
await RunOnceAsync(stoppingToken);
|
||||||
|
}
|
||||||
|
catch (OperationCanceledException) when (stoppingToken.IsCancellationRequested)
|
||||||
|
{
|
||||||
|
_logger.LogInformation("Cancellation requested.");
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
_logger.LogError(ex, "Backup failed.");
|
||||||
|
}
|
||||||
|
|
||||||
|
if (!await timer.WaitForNextTickAsync(stoppingToken))
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private async Task RunOnceAsync(CancellationToken ct)
|
||||||
|
{
|
||||||
|
var url = _config.GetValue<string>("Database:Host") ?? "172.17.0.1";
|
||||||
|
var user = _config.GetValue<string>("Database:User") ?? "backupUser";
|
||||||
|
var password = _config.GetValue<string>("Database:Password") ?? "";
|
||||||
|
var databases = _config.GetSection("Database:Databases").Get<string[]>() ?? ["my_database"];
|
||||||
|
|
||||||
|
var timestamp = DateTime.Now.ToString("yyyyMMddHHmmss");
|
||||||
|
var dumpDir = $"/data/dumps/dump-{timestamp}";
|
||||||
|
var finalDump = $"/data/dumps/dump-{timestamp}.tar.gz";
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
Directory.CreateDirectory(dumpDir);
|
||||||
|
|
||||||
|
foreach (var database in databases)
|
||||||
|
{
|
||||||
|
var dumpFile = Path.Combine(dumpDir, $"{database}.sql");
|
||||||
|
_logger.LogInformation("Starting backup for database: {Database}", database);
|
||||||
|
|
||||||
|
var psi = new ProcessStartInfo
|
||||||
|
{
|
||||||
|
FileName = "mysqldump",
|
||||||
|
Arguments = $"-h {url} -u{user} --single-transaction --quick --routines --triggers --events {database}",
|
||||||
|
RedirectStandardOutput = true,
|
||||||
|
RedirectStandardError = true,
|
||||||
|
UseShellExecute = false,
|
||||||
|
CreateNoWindow = true,
|
||||||
|
};
|
||||||
|
|
||||||
|
psi.Environment["MYSQL_PWD"] = password;
|
||||||
|
|
||||||
|
using var proc = Process.Start(psi) ?? throw new InvalidOperationException("Failed to start mysqldump");
|
||||||
|
await using var fs = new FileStream(dumpFile, FileMode.CreateNew, FileAccess.Write, FileShare.None);
|
||||||
|
|
||||||
|
var copyTask = proc.StandardOutput.BaseStream.CopyToAsync(fs, 81920, ct);
|
||||||
|
var stderrTask = ConsumeStreamToLoggerAsync(proc.StandardError, _logger, ct);
|
||||||
|
|
||||||
|
await Task.WhenAll(copyTask, stderrTask);
|
||||||
|
await proc.WaitForExitAsync(ct);
|
||||||
|
|
||||||
|
if (proc.ExitCode != 0)
|
||||||
|
{
|
||||||
|
_logger.LogWarning("mysqldump for {Database} exited with code {Code}", database, proc.ExitCode);
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
_logger.LogInformation("Backup created for {Database}: {File}", database, dumpFile);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
_logger.LogInformation("Compressing backup directory to {File}", finalDump);
|
||||||
|
await CompressDirectoryAsync(dumpDir, finalDump, ct);
|
||||||
|
|
||||||
|
Directory.Delete(dumpDir, recursive: true);
|
||||||
|
_logger.LogInformation("Backup completed: {File}", finalDump);
|
||||||
|
|
||||||
|
await _cosService.AddFileToCOS(finalDump);
|
||||||
|
}
|
||||||
|
catch (Exception ex)
|
||||||
|
{
|
||||||
|
_logger.LogError(ex, "Error during backup process.");
|
||||||
|
throw;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private async Task CompressDirectoryAsync(string sourceDir, string targetFile, CancellationToken ct)
|
||||||
|
{
|
||||||
|
// 使用 tar + gzip 压缩目录
|
||||||
|
var psi = new ProcessStartInfo
|
||||||
|
{
|
||||||
|
FileName = "tar",
|
||||||
|
Arguments = $"-czf {targetFile} -C {Path.GetDirectoryName(sourceDir)} {Path.GetFileName(sourceDir)}",
|
||||||
|
RedirectStandardError = true,
|
||||||
|
UseShellExecute = false,
|
||||||
|
CreateNoWindow = true,
|
||||||
|
};
|
||||||
|
|
||||||
|
using var proc = Process.Start(psi) ?? throw new InvalidOperationException("Failed to start tar");
|
||||||
|
var stderrTask = ConsumeStreamToLoggerAsync(proc.StandardError, _logger, ct);
|
||||||
|
await stderrTask;
|
||||||
|
await proc.WaitForExitAsync(ct);
|
||||||
|
|
||||||
|
if (proc.ExitCode != 0)
|
||||||
|
{
|
||||||
|
throw new InvalidOperationException($"tar exited with code {proc.ExitCode}");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private async Task ConsumeStreamToLoggerAsync(StreamReader err, ILogger log, CancellationToken ct)
|
||||||
|
{
|
||||||
|
var sb = new StringBuilder();
|
||||||
|
char[] buffer = new char[4096];
|
||||||
|
int read;
|
||||||
|
while ((read = await err.ReadAsync(buffer, 0, buffer.Length)) > 0)
|
||||||
|
{
|
||||||
|
sb.Append(buffer, 0, read);
|
||||||
|
if (sb.Length > 1024)
|
||||||
|
{
|
||||||
|
log.LogWarning("mysqldump stderr: {text}", sb.ToString());
|
||||||
|
sb.Clear();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if (sb.Length > 0) log.LogWarning("mysqldump stderr final: {text}", sb.ToString());
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
@ -0,0 +1,59 @@
|
||||||
|
using COSXML;
|
||||||
|
using COSXML.Auth;
|
||||||
|
using COSXML.Model;
|
||||||
|
using COSXML.Transfer;
|
||||||
|
using Microsoft.Extensions.Configuration;
|
||||||
|
using Microsoft.Extensions.Logging;
|
||||||
|
|
||||||
|
namespace SQLBackupToCOS
|
||||||
|
{
|
||||||
|
public class COSService
|
||||||
|
{
|
||||||
|
private readonly IConfiguration _config;
|
||||||
|
private readonly ILogger _logger;
|
||||||
|
|
||||||
|
public COSService(IConfiguration config, ILogger<COSService> logger)
|
||||||
|
{
|
||||||
|
_config = config;
|
||||||
|
_logger = logger;
|
||||||
|
}
|
||||||
|
public async Task AddFileToCOS(string srcPath)
|
||||||
|
{
|
||||||
|
var bucketName = _config.GetValue<string>("COS:BucketName") ?? "my-bucket";
|
||||||
|
var region = _config.GetValue<string>("COS:Region") ?? "ap-shanghai";
|
||||||
|
var secretId = _config.GetValue<string>("COS:SecretId") ?? "";
|
||||||
|
var secretKey = _config.GetValue<string>("COS:SecretKey") ?? "";
|
||||||
|
var filePath = _config.GetValue<string>("COS:FilePath") ?? "/data/dumps/";
|
||||||
|
CosXmlConfig config = new CosXmlConfig.Builder()
|
||||||
|
.IsHttps(true) // 设置默认 HTTPS 请求
|
||||||
|
.SetRegion(region) // 设置一个默认的存储桶地域
|
||||||
|
.Build();
|
||||||
|
QCloudCredentialProvider cosCredentialProvider = new DefaultQCloudCredentialProvider(secretId, secretKey, 600);
|
||||||
|
var cosXML = new CosXmlServer(config, cosCredentialProvider);
|
||||||
|
// 初始化 TransferConfig
|
||||||
|
TransferConfig transferConfig = new TransferConfig();
|
||||||
|
|
||||||
|
// 初始化 TransferManager
|
||||||
|
TransferManager transferManager = new TransferManager(cosXML, transferConfig);
|
||||||
|
|
||||||
|
string cosPath = Path.Combine(filePath, Path.GetFileName(srcPath));
|
||||||
|
// 上传对象
|
||||||
|
COSXMLUploadTask uploadTask = new COSXMLUploadTask(bucketName, cosPath);
|
||||||
|
uploadTask.SetSrcPath(srcPath);
|
||||||
|
|
||||||
|
uploadTask.successCallback = delegate (CosResult result)
|
||||||
|
{
|
||||||
|
_logger.LogInformation("Upload Success: " + result.GetResultInfo());
|
||||||
|
};
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
await transferManager.UploadAsync(uploadTask);
|
||||||
|
}
|
||||||
|
catch (Exception e)
|
||||||
|
{
|
||||||
|
_logger.LogError("CosException: " + e);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
@ -0,0 +1,33 @@
|
||||||
|
# 请参阅 https://aka.ms/customizecontainer 以了解如何自定义调试容器，以及 Visual Studio 如何使用此 Dockerfile 生成映像以更快地进行调试。
|
||||||
|
|
||||||
|
# 此阶段用于在快速模式(默认为调试配置)下从 VS 运行时
|
||||||
|
FROM mcr.microsoft.com/dotnet/runtime:10.0 AS base
|
||||||
|
|
||||||
|
RUN apt update && apt install -y mysql-client && mkdir /data && chmod 777 /data
|
||||||
|
ENV TZ="Asia/Shanghai"
|
||||||
|
USER $APP_UID
|
||||||
|
WORKDIR /app
|
||||||
|
|
||||||
|
|
||||||
|
# 此阶段用于生成服务项目
|
||||||
|
FROM mcr.microsoft.com/dotnet/sdk:10.0 AS build
|
||||||
|
ARG BUILD_CONFIGURATION=Release
|
||||||
|
WORKDIR /src
|
||||||
|
COPY ["SQLBackupToCOS/SQLBackupToCOS.csproj", "SQLBackupToCOS/"]
|
||||||
|
RUN dotnet restore "./SQLBackupToCOS/SQLBackupToCOS.csproj"
|
||||||
|
COPY . .
|
||||||
|
WORKDIR "/src/SQLBackupToCOS"
|
||||||
|
RUN dotnet build "./SQLBackupToCOS.csproj" -c $BUILD_CONFIGURATION -o /app/build
|
||||||
|
|
||||||
|
# 此阶段用于发布要复制到最终阶段的服务项目
|
||||||
|
FROM build AS publish
|
||||||
|
ARG BUILD_CONFIGURATION=Release
|
||||||
|
RUN dotnet publish "./SQLBackupToCOS.csproj" -c $BUILD_CONFIGURATION -o /app/publish /p:UseAppHost=false
|
||||||
|
|
||||||
|
# 此阶段在生产中使用，或在常规模式下从 VS 运行时使用(在不使用调试配置时为默认值)
|
||||||
|
FROM base AS final
|
||||||
|
WORKDIR /app
|
||||||
|
ENV TZ="Asia/Shanghai"
|
||||||
|
RUN apt update && apt install -y mysql-client && mkdir /data && chmod 777 /data
|
||||||
|
COPY --from=publish /app/publish .
|
||||||
|
ENTRYPOINT ["dotnet", "SQLBackupToCOS.dll"]
|
||||||
|
|
@ -0,0 +1,14 @@
|
||||||
|
// Program.cs (示例核心片段)
|
||||||
|
using Microsoft.Extensions.Hosting;
|
||||||
|
using Microsoft.Extensions.DependencyInjection;
|
||||||
|
using SQLBackupToCOS;
|
||||||
|
|
||||||
|
var builder = Host.CreateDefaultBuilder(args)
|
||||||
|
.ConfigureServices(services =>
|
||||||
|
{
|
||||||
|
services.AddLogging();
|
||||||
|
services.AddSingleton<COSService>();
|
||||||
|
services.AddHostedService<BackupService>();
|
||||||
|
});
|
||||||
|
|
||||||
|
await builder.RunConsoleAsync();
|
||||||
|
|
@ -0,0 +1,10 @@
|
||||||
|
{
|
||||||
|
"profiles": {
|
||||||
|
"SQLBackupToCOS": {
|
||||||
|
"commandName": "Project"
|
||||||
|
},
|
||||||
|
"Container (Dockerfile)": {
|
||||||
|
"commandName": "Docker"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
@ -0,0 +1,18 @@
|
||||||
|
<Project Sdk="Microsoft.NET.Sdk">
|
||||||
|
|
||||||
|
<PropertyGroup>
|
||||||
|
<OutputType>Exe</OutputType>
|
||||||
|
<TargetFramework>net10.0</TargetFramework>
|
||||||
|
<ImplicitUsings>enable</ImplicitUsings>
|
||||||
|
<Nullable>enable</Nullable>
|
||||||
|
<DockerDefaultTargetOS>Linux</DockerDefaultTargetOS>
|
||||||
|
</PropertyGroup>
|
||||||
|
|
||||||
|
<ItemGroup>
|
||||||
|
<PackageReference Include="Microsoft.Extensions.Hosting" Version="10.0.0" />
|
||||||
|
<PackageReference Include="Microsoft.Extensions.Logging.Abstractions" Version="10.0.0" />
|
||||||
|
<PackageReference Include="Microsoft.VisualStudio.Azure.Containers.Tools.Targets" Version="1.23.0" />
|
||||||
|
<PackageReference Include="Tencent.QCloud.Cos.Sdk" Version="5.4.49" />
|
||||||
|
</ItemGroup>
|
||||||
|
|
||||||
|
</Project>
|
||||||
|
|
@ -0,0 +1,22 @@
|
||||||
|
{
|
||||||
|
"Logging": {
|
||||||
|
"LogLevel": {
|
||||||
|
"Default": "Information",
|
||||||
|
"Microsoft.Hosting.Lifetime": "Information"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"BackupIntervalMinutes": 60,
|
||||||
|
"Database": {
|
||||||
|
"Host": "172.17.0.1",
|
||||||
|
"User": "SQLUSER",
|
||||||
|
"Password": "SQLPASSWORD",
|
||||||
|
"Databases": [ "DB1", "DB2" ]
|
||||||
|
},
|
||||||
|
"COS": {
|
||||||
|
"BucketName": "BUCKETNAME",
|
||||||
|
"Region": "BUCKETREGION",
|
||||||
|
"SecretId": "ID",
|
||||||
|
"SecretKey": "KEY",
|
||||||
|
"FilePath": "PATH"
|
||||||
|
}
|
||||||
|
}
|
||||||
Loading…
Reference in New Issue