linux使用ossutil下载阿里云数据

linux使用ossutil下载阿里云数据

很多时候收到公司的数据是放在阿里云的,提供了Windows版的ossutil软件,但数据量很大的时候例如100G+,用windows软件下载就太慢了。

这个软件也提供了Linux版,使用它在Linux上下载阿里云数据非常方便,

一、软件下载

软件下载地址:安装ossutil (aliyun.com)

如果有sudo权限,还可以使用以下命令

sudo -v ; curl https://gosspublic.alicdn.com/ossutil/install.sh | sudo bash

安装解压后把路径添加到环境变量中

或直接使用绝对路径调用

二、通过config命令进行快速配置


如果不想配置文件,请直接看第五条,用一行命令查看和下载数据


ossutil64 config

1.配置文件的文件名及路径

会提示输入配置文件名,文件名可以带路径,配置文件保存到~/.ossutilconfig文件里, 直接按回车则使用默认配置。

(默认为:/home/user/.ossutilconfig,回车将使用默认路径。 如果设置为其他路径,在使用命令时需要将--config-file选项设置为该路径)

这里我们输入.ossutilconfig

attachments-2023-03-Pf8bI4KK64268c76942bd.png


2.设置语言

之后会提示设置语言CH或EN。工具使用的语言默认与操作系统保持一致。

此处点击回车即可

attachments-2023-03-tz62RYNX64268d18a3203.png


3.输入endpoint链接

attachments-2023-03-LfL1hl9364268efc2c1df.png

对照表链接:访问域名和数据中心 (aliyun.com),例如下图

attachments-2023-03-nRSck1bQ64268ed17d196.png这里我们以青岛为例,输入 https://oss-cn-qingdao.aliyuncs.com


4.输入账户名和密码

输入公司提供的accessKeyID和accessKeySecret,

stsToken处直接回车即可

attachments-2023-03-PL5uKcFL64268fd8cf8a8.png

以上,配置文件已经完成


三、查看文件

使用ossutil64的 ls 命令查看文件,--config-file指定配置文件的路径,即可展示所有结果

ossutil64 --config-file /路径/.ossutilconfig ls oss://xxxxxxxxxx(公司提供的OSS预设路径)

attachments-2023-03-rgv22ueP642692d1ad717.png

四、下载数据

使用cp命令下载数据,如果配置文件不在当前目录下,要用--config-file指定配置文件的路径


下载单个文件

下载文件时如果未指定文件名,则默认使用原文件名保存在本地。如果指定文件名,则按照指定文件名保存在本地。

沿用原文件名保存文件

ossutil64 cp oss://examplebucket/destfolder/examplefile.txt localfolder/    #注意是源文件路径和目标文件路径,localfolder/为目标文件路径

按指定文件名保存文件

ossutil64 cp oss://examplebucket/destfolder/examplefile.txt localfolder/example.txt      #注意是源文件路径和目标文件路径,localfolder/example.txt 为目标文件路径及文件名


下载文件夹(包含子目录)     使用 -r 参数

ossutil64 cp -r oss://examplebucket/destfolder/ localfolder/       #注意是源文件路径和目标文件路径,localfolder/为目标文件路径

当批量下载失败或者需要增量下载文件时,可以通过指定--update(可缩写为-u)选项选择跳过已经成功下载的文件。如果本地与OSS没有同名文件,或本地同名文件的最后修改时间早于OSS文件,ossutil会下载该文件。如果本地已有同名文件,且文件的最后修改时间晚于OSS内文件时,ossutil会跳过该文件。示例如下:

ossutil64 cp -r oss://examplebucket/destfolder/  localfolder/ --update    #注意是源文件路径和目标文件路径,localfolder/为目标文件路径


下载某一类文件

如果希望同时下载多个文件名规律的文件,例如这些文件均包含相同前缀或者后缀,可以结合--include和--exclude选项在下载时选择符合条件的文件。

例如:

下载所有文件格式不为JPG的文件

ossutil64 cp oss://examplebucket/destfolder/ localfolder/ --exclude "*.jpg" -r

下载所有文件名包含abc且不是JPG和TXT格式的文件

ossutil64 cp oss://examplebucket/destfolder/ localfolder/ --include "*abc*" --exclude "*.jpg" --exclude "*.

下载的时候可以看到下载进度,就可以完成啦~


五、不用配置文件,用一行命令查看和下载数据

ossutil64 -e https://oss-cn-qingdao.aliyuncs.com -i xxxx -k xxxxxx cp -r oss://biocloud-qingdao-bucket-22/delivery_xxxxxxxxxx ./     #./指目标文件路径为当前目录

其中 -e endpoint,详见endpoint对照表链接:访问域名和数据中心 (aliyun.com)

-i 是公司提供的accessKeyID

-k 是公司提供的accessKeySecret

oss链接为公司提供的预设OSS路径

attachments-2023-03-nvBDNUdd64269760b725a.png

  • 发表于 2023-03-31 16:30
  • 阅读 ( 2552 )
  • 分类:软件工具

0 条评论

请先 登录 后评论
星莓
星莓

生物信息工程师

58 篇文章

作家榜 »

  1. omicsgene 689 文章
  2. 安生水 340 文章
  3. Daitoue 167 文章
  4. 生物女学霸 120 文章
  5. 红橙子 78 文章
  6. xun 76 文章
  7. rzx 74 文章
  8. CORNERSTONE 72 文章