1
是否可以从Apache Spark中的Lucene索引中注入数据以便进行报告目的的计算操作?来自Apache Spark中Lucene索引的Injest数据
是否可以从Apache Spark中的Lucene索引中注入数据以便进行报告目的的计算操作?来自Apache Spark中Lucene索引的Injest数据
是的,有工具可以将Apache Solr索引数据读入Spark RDD对象,您可以将它们用于计算和报告目的。
这里是一个工具,做此链接: https://github.com/lucidworks/spark-solr
我理解是为了这个,我需要我现有的Lucene索引转换为Solr的指标,即在写一个Solr的schema.xml中在领域我的lucene索引,然后使用spark-solr连接器访问它。但实际上,我的lucene索引具有大量字段,并且它们也会动态添加。因此,我打算保留我的lucene索引,并且为了报告目的寻找解决方案..认为火花将是一个很好的选择,因为后来它也可以方便机器学习..但不能找出一种方法将其与lucene集成.. – Sneha
此外,我的lucene索引中的数据存储在键值形式.. – Sneha