谷歌应用程序引擎Bulkloader“意外线程死亡”

我想上传一个moderetly大小的CSV文件中使用bulkloader功能，谷歌应用程序引擎，它似乎结果如下穿模的一些方式：谷歌应用程序引擎Bulkloader“意外线程死亡”

[INFO ] Logging to bulkloader-log-20110328.181531 
[INFO ] Throttling transfers: 
[INFO ] Bandwidth: 250000 bytes/second 
[INFO ] HTTP connections: 8/second 
[INFO ] Entities inserted/fetched/modified: 20/second 
[INFO ] Batch Size: 10 
[INFO ] Opening database: bulkloader-progress-20110328.181531.sql3 
[INFO ] Connecting to notmyrealappname.appspot.com/_ah/remote_api 
[INFO ] Starting import; maximum 10 entities per post 
...............................................................[INFO ] Unexpected thread death: WorkerThread-7 
[INFO ] An error occurred. Shutting down... 
.........[ERROR ] Error in WorkerThread-7: <urlopen error [Errno -2] Name or service not known> 

[INFO ] 1740 entites total, 0 previously transferred 
[INFO ] 720 entities (472133 bytes) transferred in 32.3 seconds 
[INFO ] Some entities not successfully transferred

它上传了我想上传的19k条目中的约700条，我想知道为什么它会失败。我检查了csv文件，看是否有其他逗号可能导致python csv阅读器丢失，而非ascii字符已被删除。

来源

2011-03-29 Voltaire

我能够通过设置来解决此问题更高的批量限制（10K）和更高的rps限制（1K） – Voltaire 2011-03-29 02:01:43

您能否以帮助他人的方式回答自己的问题？如果你这样做，你可以选择你的正确答案。这可能看起来很奇怪，但在这种情况下，最好删除它。 – Will 2011-03-29 16:49:49

起重批处理限制（的batch_size）和RPS限制（rps_limit）的作品，我用1000的批量大小和500的RPS限制：

appcfg.py upload_data --url= --application= --filename= --email= --batch_size=1000 --rps_limit=500

来源

2011-11-02 02:05:39

谷歌应用程序引擎Bulkloader“意外线程死亡”

回答

相关问题