s3cmd

    8热度

    3回答

    我在服务器上有一大堆文件,我想将它们上传到S3上。这些文件以.data扩展名存储,但实际上它们只是一堆jpegs,png,zip或pdf。 我已经写了一个简短的脚本,它可以找到mime类型并将它们上载到S3上,并且可以工作,但速度很慢。有没有办法使用gnu parallel进行下面的运行? #!/bin/bash for n in $(find -name "*.data") do

    0热度

    1回答

    我收到了Amazon S3上的公共数据集(授权用户公开)的用户名,访问密钥ID和秘密访问密钥ID。我一直在使用s3cmd与我的私人帐户和S3存储桶。我如何配置s3cmd,以便我可以访问我以前的私人凭证以及我收到的新公共数据凭证?

    19热度

    7回答

    我曾经尝试都s3cmd: $ s3cmd -r -f -v del s3://my-versioned-bucket/ 而且AWS CLI: $ aws s3 rm s3://my-versioned-bucket/ --recursive 但是这两个命令只需添加DELETE标记到S3。删除存储桶的命令也不起作用(来自AWS CLI): $ aws s3 rb s3://my-versio

    0热度

    2回答

    使用s3cmd在使用我的root权限(访问密钥和密钥)进行配置后,每当我尝试使用sync或get从存储桶下载某些内容时,我都会收到这个奇怪的我的权限错误root帐户: WARNING: Remote file S3Error: 403 (Forbidden): 所有者是另一个用户我一直在使用IAM控制台做,但我是正确的期望,root用户应始终得到全面和不受限制地访问? 还使用aws -cli我

    0热度

    1回答

    我想知道是否有方法从S3跨区域复制中排除特定文件。我知道前缀选项,但我不想包含在我的存储桶中的缓存文件夹。 例子: 我要包括以下内容: 图像/生产/图像1/file.jpg 但我不希望包括此: 图像/ production/image1/cache/file.jpg

    0热度

    1回答

    配置s3cmd通过s3cmd --configure即使在提供正确的访问凭证后仍然失败。引发的错误是ERROR: S3 error: Access Denied。我正在使用版本1.5.2,通过pip下载。 Default Region设置为美国,但我不住在那里。这是否导致任何问题,因为我的时钟设置为不同的时区? PS:那些已经写过关于配置s3cmd的人,没有去选择Default Region。可能

    0热度

    1回答

    我已经有了一个包含大量未加密文件的存储桶,我需要使用256位AES密钥对它们进行加密。我已经写了一个Java代码来加密这些文件,它工作正常。我想知道的是,如果提供的s3cmd工具也支持加密过程,如果这样做会为我节省很多时间。 我已经生成了一个AES密钥,如果我能以某种方式使用s3cmd put命令递归加密所有文件,这将是一个很大的帮助。任何请求...... :)

    0热度

    1回答

    我正在使用s3tools同步服务器上的文件和s3存储桶。具体来说,我正在使用sync命令。但是,这不能正常工作,因为我找不到分配给我设置的用户的正确权限。几乎所有的东西都可以正常工作,但我常常从s3cmd sync命令中得到一个错误:“远程复制失败”。 这是我目前的政策: { "Version": "2012-10-17", "Statement": [ {

    1热度

    1回答

    嗨,我有一个shell脚本,它包含ubuntu 12.04 LTS上的s3cmd命令。 我为这个shell脚本配置了cron,可以在本地环境下正常工作,但不要将文件推送到s3。但是当我手动运行shell脚本时,它将文件推送到s3而没有任何错误。我检查了日志,并没有发现这一点。这是我的shell脚本。 #!/bin/bash User="abc" datab="abc_xyz" pass="[

    0热度

    1回答

    我在网络连接不好的情况下使用s3cmd。有时,它会在同步过程中停止,导致文件半损坏/文件损坏。通常情况下,我希望它继续停顿,但在这种情况下,由于各种原因,我不希望下载不完整。 有什么方法告诉s3cmd永远不会保存尚未完全下载的本地文件,而是在下一次同步时重新开始。