从ncbi下载多个fasta文件

我试图从ncbi下载与一个有机体相关的所有fasta文件。从ncbi下载多个fasta文件

我试图wget -r -l3 -A "*.fna.gz" ftp://ftp.ncbi.nlm.nih.gov/genomes/refseq/bacteria/Microcystis_aeruginosa/获得从第三级倒在.fna.gz结尾的文件，但当时它只是拒绝一切与以下的输出：

删除“ftp.ncbi.nlm.nih.gov/基因组/以RefSeq /菌/ Microcystis_aeruginosa/latest_assembly_versions/.listing”。拒绝“GCF_000010625.1_ASM1062v1”。拒绝“GCF_000307995.1_ASM30799v2”。拒绝“GCF_000312165.1_ASM31216v1”。拒绝“GCF_000312185.1_ASM31218v1”。拒绝“GCF_000312205.1_ASM31220v1”。拒绝“GCF_000312225.1_ASM31222v1”。拒绝“GCF_000312245.1_ASM31224v1”。拒绝“GCF_000312265.1_ASM31226v1”。拒绝“GCF_000312285.1_ASM31228v1”。拒绝“GCF_000312725.1_ASM31272v1”。拒绝“GCF_000330925.1_MicAerT1.0”。拒绝“GCF_000332585.1_MicAerD1.0”。拒绝“GCF_000412595.1_spc777-v1”。拒绝“GCF_000599945.1_Mic70051.0”。拒绝“GCF_000787675.1_ASM78767v1”。拒绝“GCF_000981785.1_ASM98178v1”。

关于为什么拒绝这些目录的任何想法？谢谢你的帮助。

来源

2016-02-20 michberr

我在想你在他们的服务器上太频繁地请求太多，所以他们把你踢出去了。你应该真的编写一个shell脚本，在每个wget之间休眠，以免重载服务器。 – Seekheart

不完全确定它为什么会拒绝你的请求，但是当我还在做这种事情时，我发现如果我不下载小批量查询，NCBI服务器会将我的IP定时并阻止我的IP而之前我可以再次下载。这似乎不是你看到的同样的问题，但也许这个脚本可能会完成相同的事情。让我知道这是否有帮助。

#!/usr/bin/env python 

from Bio import Entrez 

search_term = raw_input("Organism name: ") 

Entrez.email = "[email protected]" # required by NCBI 
search_handle = Entrez.esearch(db="nucleotide", term=search_term, usehistory="y") 
search_results = Entrez.read(search_handle) 
search_handle.close() 

gi_list = search_results["IdList"] 
count = int(search_results["Count"]) 
webenv = search_results["WebEnv"] 
query_key = search_results["QueryKey"] 

batch_size = 5 # download sequences in batches so NCBI doesn't time you out 

with open("ALL_SEQ.fasta", "w") as out_handle: 
    for start in range(0, count, batch_size): 
     end = min(count, start+batch_size) 
     print "Going to download record %i to %i" % (start+1, end) 
     fetch_handle = Entrez.efetch(db="nucleotide", rettype="fasta", retmode="text",retstart=start, retmax=batch_size, webenv=webenv, query_key=query_key) 
     data = fetch_handle.read() 
     fetch_handle.close() 
     out_handle.write(data) 

print ("\nDownload completed")

来源

2016-02-23 06:55:40 ljc

嗨，感谢您的帮助。不幸的是，该代码似乎仍然超载了他们的服务器。但我实际上试图使用基因组db而不是核苷酸db来分离全基因组。我认为这需要使用elink将基因组数据库中的ID与核苷酸数据库中的数据库进行关联，这是数据实际存储的位置。 – michberr

我发现一个perl脚本让我接近完成这项任务从here。不幸的是，这个脚本只是返回基因组的ID，而不是实际的序列。

例如，我的输出的头：

GI | 425458296 |裁判| NZ_CAIN00000000.1 | NZ_CAIN01000000铜绿微囊藻PCC 9808，全基因组鸟枪法测序项目

GI | 425448636 |参考| NZ_CAIK00000000.1 | NZ_CAIK01000000铜绿微囊藻PCC 7941，全基因组鸟枪测序项目

任何perl用户都知道发生了什么事？

use strict; 
use LWP::Simple; 
my ($name, $outname, $url, $xml, $out, $count, $query_key, $webenv, $ids); 
my @genomeId; 
my $base = 'http://eutils.ncbi.nlm.nih.gov/entrez/eutils/'; 
my $limit = 'wgs[prop]+AND+srcdb+refseq[prop])'; 
my @species = ('Microcystis aeruginosa'); 

foreach my $s (@species) { 
    undef @genomeId; 
    $query_key = $webenv = ''; 
    $s =~ s/ /+/g; 

    # ESearch 
    $url = $base . "esearch.fcgi?db=genome&term=$s"; 
    $xml = get($url); 
    $count = $1 if ($xml =~ /<Count>(\d+)<\/Count>/); 

    if ($count > 30) { 
    $url = $base . "esearch.fcgi?db=genome&term=$s&retmax=$count"; 
    $xml = get($url); 
    } 

    while ($xml =~ /<Id>(\d+?)<\/Id>/gs) { 
    push(@genomeId, $1); 
    } 

    $ids = join(',', @genomeId); 

    # ELink 
    $url = $base . "elink.fcgidbfrom=genome&db=nuccore&cmd=neighbor_history&id=$ids&term=$limit"; 
    $xml = get($url); 
    $query_key = $1 if ($xml =~ /<QueryKey>(\d+)<\/QueryKey>/); 
    $webenv = $1 if ($xml =~ /<WebEnv>(\S+)<\/WebEnv>/); 

    # EFetch 
    $url = $base . "efetch.fcgidb=nuccore&query_key=$query_key&WebEnv=$webenv&rettype=fasta&retmode=text"; 
    $out = get($url); 

    open (OUT, ">$s.fna"); 
    close OUT; 
}

来源

2016-02-24 19:58:17 michberr

从ncbi下载多个fasta文件

回答

相关问题