批量下载多个链接的文件

对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务,具有高扩展性、低成本、可靠安全等优点...

对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务,具有高扩展性、低成本、可靠安全等优点。通过控制台、API、SDK 和工具等多样化方式,用户可简单、快速地接入 COS,进行多格式文件的上传、下载和管理,实现海量数据存储和管理。

可以在cos中用来进行数据上传下载的工具有网页版工具COSBrowser,客户端命令行工具COSCLI和COSCMD。除了使用软件之外,我们也可以通过别人提供的链接文件,进行文件的下载。链接格式如下:


https://对方bucket名字.tencentcos.cn/具体的目录/文件的名字?q-sign-algorithm=sha1&q-ak=个人信息&q-sign-time=1708406379%3B1709011179&q-key-time=个人信息&q-header-list=host&q-url-param-list=&q-signature=个人信息


假设我们有20个这样的链接都在这个singlelink.txt 里面,下载命令如下:

cat singlelink.txt | xargs -n 1 -P 10 -I {} bash -c 'link="{}"; filename=$(echo "$link" | awk -F "/" "{print \$NF}" | awk -F "?" "{print \$1}"); wget -c "$link" -O "$filename"'


参考:

https://cloud.tencent.com/document/product/436/6242

  • 发表于 2024-02-21 14:00
  • 阅读 ( 809 )
  • 分类:其他

你可能感兴趣的文章

相关问题

0 条评论

请先 登录 后评论
Ti Amo
Ti Amo

48 篇文章

作家榜 »

  1. omicsgene 698 文章
  2. 安生水 347 文章
  3. Daitoue 167 文章
  4. 生物女学霸 120 文章
  5. xun 82 文章
  6. 红橙子 78 文章
  7. rzx 74 文章
  8. CORNERSTONE 72 文章