17站長網 › 首頁 ›網站› 服務器 › 查看內容

如何在linux系統中快速拷貝大文件

2022-10-19 13:39| 查看: 1424 |來源: 互聯網

遠程拷貝數據的時候，我們一般使用rsync命令，但是如果拷貝大量的小文件，會導致rsync的傳輸速度慢。使用tar pv lz4打包壓縮傳輸，可以解決這問題，使用這個方法 ...

拷貝數據

遠程拷貝數據的時候，我們一般使用rsync命令，但是如果拷貝大量的小文件，會導致rsync的傳輸速度慢。使用tar pv lz4打包壓縮傳輸，可以解決這問題，使用這個方法，等同于使用scp、rsync傳輸大文件。

實測，使用rsync傳輸1200G，單個文件大小為幾十KB~2GB,千兆網卡，需要同時跑6個rsync才能把帶寬跑滿，每個速度20MB左右，速度波動大。每分鐘可以拷貝4.5GB左右。

但是，使用tar pv lz4，跑一個就可以了，而且速度波動小。每分鐘可以拷貝6.8GB左右。

rsync使用例子

rsync安裝：yum install -y rsync

# 推送
[root@vm5 ~]# rsync -auvzP -e "ssh -p22" mssh.tar.gz [email protected]:/data/
sending incremental file list
mssh.tar.gz
     1,977 100%  0.00kB/s  0:00:00 (xfr#1, to-chk=0/1)
sent 2,069 bytes received 35 bytes 4,208.00 bytes/sec
total size is 1,977 speedup is 0.94

# 拉取
[root@vm5 ~]# rm -f mssh.tar.gz
[root@vm5 ~]# rsync -auvzP -e "ssh -p22" [email protected]:/data/mssh.tar.gz .
receiving incremental file list
mssh.tar.gz
     1,977 100%  1.89MB/s  0:00:00 (xfr#1, to-chk=0/1)
sent 43 bytes received 2,069 bytes 4,224.00 bytes/sec
total size is 1,977 speedup is 0.94

參數auvzP解釋：參數a是歸檔傳輸，保留文件屬性，u是更新傳輸，源文件修改時間較新，則傳輸。v是顯示詳細過程，z是壓縮傳輸，P是斷點傳輸。

注意：rsync 傳輸文件夾時候，folder/ 帶/則是傳輸目錄下的文件，不帶/是把文件夾也傳輸過去。

使用壓縮傳輸

安裝pv、lz4工具

注意：服務器兩端都要安裝。

pv在yum源里面沒有，可以到pv官網找

# 去pv官網，搞到個rpm包鏈接，直接rpm命令安裝
[root@vm5 ~]# rpm -ivh http://www.ivarch.com/programs/rpms/pv-1.6.6-1.x86_64.rpm
獲取http://www.ivarch.com/programs/rpms/pv-1.6.6-1.x86_64.rpm
警告：/var/tmp/rpm-tmp.mFbA6u: 頭V3 DSA/SHA1 Signature, 密鑰 ID 3fc56f51: NOKEY
準備中...             ################################# [100%]
正在升級/安裝...
  1:pv-1.6.6-1            ################################# [100%]
  
# lz4 可以直接yum安裝  
[root@vm5 ~]# yum install -y lz4

使用

[root@vm5 ~]# time tar -c go |pv |lz4 -B4 |ssh -p22 -c aes128-ctr 192.168.176.11 "lz4 -d |tar -xC /data/"
using blocks of size 64 KB
18.1MiB 0:00:00 [49.5MiB/s] [  <=>                                                                                   ]
real    0m0.376s
user    0m0.080s
sys    0m0.108s
# 對比rsync
[root@vm5 ~]# time rsync -auvzP -e "ssh -p22" go 192.168.176.11:/data/
......
sent 11,741,677 bytes received 10,451 bytes 7,834,752.00 bytes/sec
total size is 18,502,481 speedup is 1.57
real 0m1.130s
user    0m0.797s
sys    0m0.160s
[root@vm5 ~]#

tag標簽:linux 拷貝大文件

本文最后更新于 2022-10-19 13:39，某些文章具有時效性，若有錯誤或已失效，請在網站留言或聯系站長：[email protected]

·END·

站長網微信號：w17tui，關注站長、創業、關注互聯網人 - 互聯網創業者營銷服務中心

免責聲明：本站部分文章和圖片均來自用戶投稿和網絡收集，旨在傳播知識，文章和圖片版權歸原作者及原出處所有，僅供學習與參考，請勿用于商業用途，如果損害了您的權利，請聯系我們及時修正或刪除。謝謝！

下一篇：Linux系統的進程管理工具supervisor安裝配置教程上一篇：使用 kind 和 Docker 啟動本地的 Kubernetes環境

17站長網微信二維碼

始終以前瞻性的眼光聚焦站長、創業、互聯網等領域，為您提供最新最全的互聯網資訊，幫助站長轉型升級，為互聯網創業者提供更加優質的創業信息和品牌營銷服務，與站長一起進步！讓互聯網創業者不再孤獨！

掃一掃，關注站長網微信

青草久久影院-青草久久伊人-青草久久久-青草久久精品亚洲综合专区-SM双性精跪趴灌憋尿调教H-SM脚奴调教丨踩踏贱奴

如何在linux系統中快速拷貝大文件

大家都在看

相關分類

熱門排行

最近更新