2016-08-06 39 views
0

我有一个从S3下载文件的功能。它可以工作,但不能识别IfModifiedSince选项。下面的函数在本地查找相同的命名文件,如果存在,则将time.Time对象设置为修改日期和时间。然后在S3的请求中使用它,以便自那时起只有在文件被修改的情况下才下载该文件。如何在AWS S3中使用Go设置If-Modified-Since标题

func DownloadS3Media(filename string, mediaDirectory string, bucket string, c *configuration.Configuration) (dest string, bytes int64, err error) { 
    os.Setenv("AWS_ACCESS_KEY_ID", c.AWS_ACCESS_KEY_ID) 
    os.Setenv("AWS_SECRET_ACCESS_KEY", c.AWS_SECRET_ACCESS_KEY) 

    // Create the directories in the path 
    finalFilePath := filepath.Join(mediaDirectory, filename) 
    if err1 := os.MkdirAll(filepath.Dir(finalFilePath), 0775); err1 != nil { 
     return "", 0, err1 
    } 

    //Create the blank file to push the data into 
    var t *time.Time 
    if fi, err2 := os.Stat(finalFilePath); err2 == nil { 
     t1 := fi.ModTime() 
     t = &t1 
    } 
    tempFilePath := filepath.Join(mediaDirectory, filename + ".tmp") 
    tempFile, err3 := os.Create(tempFilePath) 
    if err3 != nil { 
     log.Println("Failed to create file", err3) 
     return finalFilePath, 0, err3 
    } 
    defer tempFile.Close() 

    logLevel := aws.LogDebug 
    downloader := s3manager.NewDownloader(session.New(&aws.Config{Region: aws.String("us-east-1"), LogLevel:&logLevel})) 
    params := &s3.GetObjectInput{Bucket: aws.String(bucket), 
     Key: aws.String(filename), 
     IfModifiedSince: t} 
    numBytes, err4 := downloader.Download(tempFile, params) 
    if err4 != nil { 
     log.Println("Failed to download file", err4) 
     return finalFilePath, 0, err4 
    } 

    //if downloader pulled down the file, rename the tmp file to original. 
    if _, err5 := os.Stat(tempFilePath); err5 == nil { 
     os.Rename(tempFilePath, finalFilePath) 
     log.Println("Renamed ", tempFilePath, "to", finalFilePath) 
    } 

    log.Println("Downloaded file", filename, "to", finalFilePath, numBytes, "bytes") 
    return finalFilePath, numBytes, nil 
} 

调试时,我看到& t时的正确值是一样的东西sec: 63606119179。在AWS发送请求时,标题存在但设置为1/1/0001。

---[ REQUEST POST-SIGN ]----------------------------- 
GET http://*****.s3.amazonaws.com/domenic-test.png HTTP/1.1 
Host: *****.s3.amazonaws.com 
User-Agent: aws-sdk-go/1.3.1 (go1.6.3; darwin; amd64) S3Manager 
Authorization: AWS4-HMAC-SHA256 Credential= *****/20160806/us-east-1/s3/aws4_request, SignedHeaders=host;if-modified-since;range;x-amz-content-sha256;x-amz-date, Signature= ***** 
If-Modified-Since: Mon, 1 Jan 0001 00:00:00 GMT 
Range: bytes=0-5242879 
X-Amz-Content-Sha256: ***** 
X-Amz-Date: 20160806T223302Z 
+0

这最终成为亚马逊代码中的一个缺陷,而后者已被纠正和发布。 –

回答

0

尝试这样的简化:

var t time.Time 
if fi, err2 := os.Stat(finalFilePath); err2 == nil { 
    t := fi.ModTime() 
} 

及更高版本:

params := &s3.GetObjectInput{Bucket: aws.String(bucket), 
    Key: aws.String(filename), 
    IfModifiedSince: aws.Time(t)} 

...如示例代码在这里建议:https://github.com/aws/aws-sdk-go/blob/f1e26250235022af782521266389e4b2ae2945e4/service/s3/examples_test.go#L975

起初我还以为是一个删除问题,但经过测试,我发现time.Timet指向逃脱块(这真的让我感到惊讶)。也许在这两者之间还有一些其他的错误发生,但我会假设,因为他们的测试通过,这应该工作。

+0

我尝试过修改,但仍然看到: 'If-Modified-Since:Mon,1 Jan 0001 00:00:00 GMT' –

+0

FWIW,他们的测试没有解决IfModifiedSince标题。我确实有一张AWS的公开门票。 –

+0

对不起...尽力而为。祝你好运!让我知道事情的后续。 –

相关问题