我已经在elasticsearch DB上传了大约1TB的数据。 搜索我尝试以下方法 -在弹性搜索中使用“search_after”搜索1M数据
“从+规模”有index.max_result_window为10000的默认值,但我想100000搜索,所以我设置index.max_result_window为100000然后搜索从100000和大小= 10,但它会导致堆大小已满。
滚动API - 为了保持旧的段活着利用更多的文件句柄。因此它再次消耗节点中配置的内存。
search_after - 我试着_uid的基础上整理文件,但它给了我follwoing错误 -
-
{
"error": {
"root_cause": [
{
"type": "circuit_breaking_exception",
"reason": "[fielddata] Data too large, data for [_uid] would be [13960098635/13gb], which is larger than the limit of [12027297792/11.2gb]",
"bytes_wanted": 13960098635,
"bytes_limit": 12027297792
}
}
},
可以做些什么来解决这个错误,也这是通过分页搜索大量数据的最有效方法?
你可以发布搜索请求正文吗? –
我相信通过的“_id”很大,根据文档,“id”没有索引,但“_uid”是,所以如果索引它应该是一个不是太大的大小。 –