将数据从Redshift复制到ElasticSearch

Question

我们有大量存储在ES群集上的数据。我需要向ES群集添加一个字段，并从Redshift表的列中为该字段上传数据。我从来没有使用过这样的数据传输，我是AWS新手，不确定如何处理这个任务，以及我应该阅读什么来执行这种数据传输。你知道什么是最好的方法吗？

Answer 1

如果是，那么您是否正在使用logstash执行数据操作，然后您可以轻松地在logstash中添加列。并从头开始重新启动锁定，以便将附加列数据提取到索引中。让我知道你目前的设置。

Answer 2

据我所知，你想从elasticssearch集群转储数据并将其加载到红移。 这里是一个方法，我将采取：使用

• 转储数据从elasticsearch：https://github.com/taskrabbit/elasticsearch-dump
• 复制JSON文件S3：使用AWS CLI
• 复制从S3 JSON文件红移使用：https://docs.aws.amazon.com/redshift/latest/dg/copy-usage_notes-copy-from-json.html