我已经写在节点和快速的程序,使用Request连接到API并下载一组数据(3000个思API请求)(内的所有API,你要知道的使用限制)。NodeJS:我需要结束HTTP请求来节省内存/ CPU吗?
当码头工人容器中运行这个,我得到了很多getaddrinfo ENOTFOUND
错误的,我想知道这是否是一个资源配置的问题。我的要求是,像这样:
request.get(url, function(err, resp, body){
// do stuff with the body here,
// like create an object and handball to a worker function
});
对于前几百个请求,这一直工作正常,但后来我得到很多河畔地段要么ENOTFOUND
或超时错误的,我认为这个问题可能是我的代码是这样的处理所有这些请求。
我已经分批他们在超时队列所以请求发生相对缓慢,它可以帮助一点点,但并不能完全解决问题。
我是否需要销毁身体/响应对象以释放内存或其他东西?
澄清:您是否立即发送所有请求?你有没有考虑限制并发请求的数量(例如与异步) – h0ru5
你很可能遇到与你调用的API供应问题 –
@ h0ru5我做了类似的事情,因为我创建了一个队列数组和一个循环的脚本,每5秒钟执行25个呼叫。 – Jascination