共倒金荷家万里
English
往期整理
  •   文章分类
  •   文章标签
共倒金荷家万里
Article
44
Category
2
Tags
6
English
往期整理
文章分类
文章标签
work
文件存储迁移
Post on: 2024-9-30
Last edited: 2024-9-30
Views
Linux
migration
type
status
date
slug
summary
tags
category
icon
password

dirtree分析Linux系统文件目录

  1. 将分析工具dirtree上传到Linux目录,并赋予执行权限
  1. 使用dirtree工具分析待迁移Linux目录,并生成SQL脚本,以根目录 / 为例
  1. 将生成的SQL脚本拷贝到Windows客户端
  1. 在Windows Server 2021 R2上安装MySQL并导入生成的SQL脚本
  1. 依次安装如下组件
notion image
notion image
  1. 使用MySQL Workbench登录MySQL
  1. 新建Schemas,参数如下
  1. 打开并执行导入的SQL脚本
  1. 使用SQL语句分析目录
  1. 查看二级目录,按文件大小排序
  1. 查看三级目录,按文件大小排序
  1. 查看四级目录,按文件大小排序
  1. 查看五级目录,按文件大小排序
以此类推,将文件大小较大的可以根据实际情况拆分出来作为单独的实例,原来的实例排除掉拆分的实例,达到减小实例目录数据的目的,提高迁移效率
notion image

Rsync迁移Linux系统文件

Rsync迁移Linux系统文件操作
最新本地测试Rsync传输效率
notion image
notion image

Rsync多进程

文件迁移方案中的多进程与多线程
多线程:shell脚本本身没有多进程的概念,在MD5批量校验方案中,使用多线程同时执行多行命令——同时计算源端和目标端的MD5值,优化校验速度。
多进程:在rsync传输方案中,使用screen命令开启多个后台窗口,在每个screen后台窗口分别对不同的迁移目录手动启动rsync任务。此方法同样适用于在多个screen后台窗口手动执行MD5批量校验脚本。此方法虽然简陋,但有两个好处:
  • 每个screen后台窗口都可以分别访问,查看任务运行动态日志(最新),没有日志文件查看延迟的问题。
  • 目前的rsync任务、MD5批量校验脚本没有任何异常处理与程序守护机制,每个screen后台窗口能够更方便地监控、重启任务,排查任务问题。
rsync多进程
测试数据
测试环境:规格:1核 | 2G;镜像:CentOS7.8;
测试方式:user目录(3.9G);本地两个目录对拷;本地两个目录对比
rsync全量传输时间:5分45秒
rsync增量比对时间:15秒
其他并行方案

msrsync

GNU parallel

Official packages https://www.gnu.org/software/parallel/

xargs

or

MD5校验脚本 for Linux

文件迁移方案中的多进程与多线程
多线程:shell脚本本身没有多进程的概念,在MD5批量校验方案中,使用多线程同时执行多行命令——同时计算源端和目标端的MD5值,优化校验速度。
多进程:在rsync传输方案中,使用screen命令开启多个后台窗口,在每个screen后台窗口分别对不同的迁移目录手动启动rsync任务。此方法同样适用于在多个screen后台窗口手动执行MD5批量校验脚本。此方法虽然简陋,但有两个好处:
  • 每个screen后台窗口都可以分别访问,查看任务运行动态日志(最新),没有日志文件查看延迟的问题。
  • 目前的rsync任务、MD5批量校验脚本没有任何异常处理与程序守护机制,每个screen后台窗口能够更方便地监控、重启任务,排查任务问题。
MD5批量校验
测试数据
测试环境:规格:1核 | 2G;镜像:CentOS7.8;
测试方式:user目录(3.9G);本地两个目录对拷;本地两个目录对比
MD5批量校验时间:7分25秒

TreeSize分析Windows系统文件目录

  1. 安装.NET Framework 4.7.2 Runtime
  1. 安装TreeSize并分析Windows目录
notion image

FreeFileSync迁移Windows系统文件

FreeFileSync迁移Windows系统文件操作
notion image
notion image
最新本地测试FreeFileSync传输效率
notion image
notion image
  • Author:共倒金荷家万里
  • URL:https://tangly1024.com/article/11140ef0-3786-8003-9d2e-c077676baf90
  • Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!
Relate Posts
Dify practice
RAGFlow practice
DBMotion deployment
wordpress+mysql+minio development & migrate(on laptop)
datebase deployment(on laptop)
wordpress+mysql+minio development(on cloud service)
vdbench安装与使用rclone安装与使用
Loading...
Catalog
0%
dirtree分析Linux系统文件目录Rsync迁移Linux系统文件Rsync多进程msrsyncGNU parallelxargsMD5校验脚本 for LinuxTreeSize分析Windows系统文件目录FreeFileSync迁移Windows系统文件
共倒金荷家万里
共倒金荷家万里
何日把酒言欢
Article
44
Category
2
Tags
6
Latest posts
RAGFlow practice
RAGFlow practice
2025-4-7
Dify practice
Dify practice
2025-4-7
DBMotion deployment
DBMotion deployment
2024-12-10
datebase deployment(on laptop)
datebase deployment(on laptop)
2024-11-8
mysql shell migrate mysql
mysql shell migrate mysql
2024-11-6
wordpress+mysql+minio development(on cloud service)
wordpress+mysql+minio development(on cloud service)
2024-11-6
Announcement
实践是检验真理的唯一标准
 
Catalog
0%
dirtree分析Linux系统文件目录Rsync迁移Linux系统文件Rsync多进程msrsyncGNU parallelxargsMD5校验脚本 for LinuxTreeSize分析Windows系统文件目录FreeFileSync迁移Windows系统文件
2021-2025 共倒金荷家万里.

共倒金荷家万里 | 何日把酒言欢

Powered by NotionNext 4.7.3.