通过断点续传上传的方式将文件上传到OSS前,您可以指定断点记录点。上传过程中,如果出现网络异常或程序崩溃导致文件上传失败时,将从断点记录处继续上传未上传完成的部分。
背景信息
您可以通过oss2.resumable_upload方法断点续传上传指定文件,该方法包含以下参数:
| 参数 | 描述 | 是否必须 | 默认值 | 
|---|---|---|---|
| bucket | 存储空间名称 | 是 | 无 | 
| key | 上传到OSS的文件名称 | 是 | 无 | 
| filename | 待上传的本地文件名称 | 是 | 无 | 
| store | 指定保存断点信息的目录 | 否 | HOME目录下建立的.py-oss-upload目录 | 
| headers | HTTP头部 | 否 | 无 | 
| multipart_threshold | 文件长度大于该值时,则使用分片上传 | 否 | 10 MB | 
| part_size | 分片大小 | 否 | 自动计算 | 
| progress_callback | 上传进度回调函数 | 否 | 无 | 
| num_threads | 并发上传线程数 | 否 | 1 | 
有关断点续传上传的详情,请参见分片上传和断点续传。
代码实现
以下代码用于断点续传上传:
# -*- coding: utf-8 -*-
import oss2
# 阿里云主账号AccessKey拥有所有API的访问权限,风险很高。强烈建议您创建并使用RAM账号进行API访问或日常运维,请登录RAM控制台创建RAM账号。
auth = oss2.Auth('<yourAccessKeyId>', '<yourAccessKeySecret>')
# Endpoint以杭州为例,其它Region请按实际情况填写。
bucket = oss2.Bucket(auth, 'http://oss-cn-hangzhou.aliyuncs.com', '<yourBucketName>')
# 当文件长度大于或等于可选参数multipart_threshold(默认值为10 MB)时,则使用分片上传。如未使用参数store指定目录,则会在HOME目录下建立.py-oss-upload目录来保存断点信息。
oss2.resumable_upload(bucket, '<yourObjectName>', '<yourLocalFile>') 
     Python SDK 2.1.0以上版本支持断点续传上传时设置可选参数,代码如下:
# 若使用store指定了目录,则断点信息将保存在指定目录中。若使用num_threads设置并发上传线程数,请将oss2.defaults.connection_pool_size设置为大于或等于并发上传线程数。默认并发上传线程数为1。
oss2.resumable_upload(bucket, '<yourObjectName>', '<yourLocalFile>',
    store=oss2.ResumableStore(root='/tmp'),
    multipart_threshold=100*1024,
    part_size=100*1024,
    num_threads=4) 
      
       说明 
       
 
     - 断点续传内部使用了多线程,调用时无需在外部封装多线程,否则可能导致数据重复传输。
- 网络情况较好时,建议增加分片大小。反之,减小分片大小。