博客
关于我
python调用aws api操作s3
阅读量:603 次
发布时间:2019-03-12

本文共 1937 字,大约阅读时间需要 6 分钟。

首先需要配置密钥和密码

创建配置文件夹
mkdir ~/.aws
创建配置文件

vim ~/.aws/config[default]output = json   #输出格式region = ap-northeast-2  #默认区域

创建密钥文件

vim ~/.aws/credentials[default]aws_access_key_id = *****aws_secret_access_key = ****

编写上传脚本

vim

#!/usr/bin/pythonimport loggingimport boto3from botocore.exceptions import ClientErrordef upload_file(file_name, bucket, object_name=None):    """Upload a file to an S3 bucket    :param file_name: File to upload    :param bucket: Bucket to upload to    :param object_name: S3 object name. If not specified then same as file_name    :return: True if file was uploaded, else False    """    # If S3 object_name was not specified, use file_name    if object_name is None:        object_name = file_name    # Upload the file    s3_client = boto3.client('s3')    try:        response = s3_client.upload_file(file_name, bucket, object_name)    except ClientError as e:        logging.error(e)        return False    return Truedef main():    """Exercise upload_file()"""    # Set these values before running the program    bucket_name = 'test-bucket'    file_name = 'testfile'    object_name = 'testfile'    # Set up logging    logging.basicConfig(level=logging.DEBUG,                        format='%(levelname)s: %(asctime)s: %(message)s')    # Upload a file    response = upload_file(file_name, bucket_name, object_name)    if response:        logging.info('File was uploaded')if __name__ == '__main__':    main()

下载脚本

#!/usr/bin/pythonimport boto3import botocoreBUCKET_NAME = 'test-bucket' # replace with your bucket nameKEY = 'testfile' # replace with your object keys3 = boto3.resource('s3')try:    s3.Bucket(BUCKET_NAME).download_file(KEY, 'testfile')except botocore.exceptions.ClientError as e:    if e.response['Error']['Code'] == "404":        print("The object does not exist.")    else:        raise

使用aws cli上传下载

#上传aws s3 cp ./testfile s3://testbucket/   #下载aws s3 cp s3://testbucket/testfile ./

更多python操作示例

转载地址:http://qabxz.baihongyu.com/

你可能感兴趣的文章
nifi使用过程-常见问题-以及入门总结---大数据之Nifi工作笔记0012
查看>>
NIFI分页获取Mysql数据_导入到Hbase中_并可通过phoenix客户端查询_含金量很高的一篇_搞了好久_实际操作05---大数据之Nifi工作笔记0045
查看>>
NIFI同步MySql数据_到SqlServer_错误_驱动程序无法通过使用安全套接字层(SSL)加密与SQL Server_Navicat连接SqlServer---大数据之Nifi工作笔记0047
查看>>
Nifi同步过程中报错create_time字段找不到_实际目标表和源表中没有这个字段---大数据之Nifi工作笔记0066
查看>>
NIFI大数据进阶_FlowFile拓扑_对FlowFile内容和属性的修改删除添加_介绍和描述_以及实际操作---大数据之Nifi工作笔记0023
查看>>
NIFI大数据进阶_Json内容转换为Hive支持的文本格式_操作方法说明_01_EvaluteJsonPath处理器---大数据之Nifi工作笔记0031
查看>>
NIFI大数据进阶_Kafka使用相关说明_实际操作Kafka生产者---大数据之Nifi工作笔记0036
查看>>
NIFI大数据进阶_NIFI的模板和组的使用-介绍和实际操作_创建组_嵌套组_模板创建下载_导入---大数据之Nifi工作笔记0022
查看>>
NIFI大数据进阶_NIFI监控的强大功能介绍_处理器面板_进程组面板_summary监控_data_provenance事件源---大数据之Nifi工作笔记0025
查看>>
NIFI大数据进阶_NIFI集群知识点_认识NIFI集群以及集群的组成部分---大数据之Nifi工作笔记0014
查看>>
NIFI大数据进阶_NIFI集群知识点_集群的断开_重连_退役_卸载_总结---大数据之Nifi工作笔记0018
查看>>
NIFI大数据进阶_内嵌ZK模式集群1_搭建过程说明---大数据之Nifi工作笔记0015
查看>>
NIFI大数据进阶_外部ZK模式集群1_实际操作搭建NIFI外部ZK模式集群---大数据之Nifi工作笔记0017
查看>>
NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_01---大数据之Nifi工作笔记0033
查看>>
NIFI大数据进阶_离线同步MySql数据到HDFS_01_实际操作---大数据之Nifi工作笔记0029
查看>>
NIFI大数据进阶_离线同步MySql数据到HDFS_02_实际操作_splitjson处理器_puthdfs处理器_querydatabasetable处理器---大数据之Nifi工作笔记0030
查看>>
NIFI大数据进阶_连接与关系_设置数据流负载均衡_设置背压_设置展现弯曲_介绍以及实际操作---大数据之Nifi工作笔记0027
查看>>
NIFI数据库同步_多表_特定表同时同步_实际操作_MySqlToMysql_可推广到其他数据库_Postgresql_Hbase_SqlServer等----大数据之Nifi工作笔记0053
查看>>
NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南001---大数据之Nifi工作笔记0068
查看>>
NIFI汉化_替换logo_二次开发_Idea编译NIFI最新源码_详细过程记录_全解析_Maven编译NIFI避坑指南002---大数据之Nifi工作笔记0069
查看>>