tachyon

1热度

1回答

我是Apache Ignite的新手，对于Ignite和Spark整合，看起来Ignite提供了一个内存层，数据将存储在Spark应用程序中，这是Tachyon作为内存中的文件系统提供。所以，我的问题是针对内存中的文件系统（IGFS for ignite），Ignite和Tachyon有什么区别？两者之间的优点和缺点是什么？谢谢！

0热度

1回答

对RDD在alluxio转型内存使用/超光速粒子的火花

假设我们从alluxio内存 rdd1 = sc.textFile("alluxio://.../file1.txt") rdd2 = rdd1.map(...) 是否rdd2驻留在alluxio或spark的堆创建RDD。也可以在alluxio或spark堆上创建一个新的RDD（类似于alluxio上的pairRDD） pairRDD1.join(pairRDD2)。第二个问题的原因是

0热度

1回答

部署超光速粒子与Ansible无服务器即如何格式化主

眼下超光速粒子之间的ssh接头是部署在本地模式即http://tachyon-project.org/documentation/v0.7.1/Running-Tachyon-Locally.html 我在这里的主要问题是SSH联接。经典的方法是做： ssh-keygen -t rsa cat id_rsa.pub >> authorized_keys 但我想不启用的时刻SSH联接（服务器之

3热度

2回答

如何将火花RDD转换为mahout DRM？

我从使用sc.textFile（）的Mahout中的Alluxio中获取数据，但它是spark RDD。我的程序进一步使用这个火花RDD作为Mahout DRM，因此我需要将RDD转换为DRM。所以我现在的代码保持稳定。

0热度

1回答

如何在openstack上安装alluxio1.2

我尝试使用spark和hdfs在openstack上的VM Centos上安装alluxio1.2，但安装无法正常工作。 Spark和hdfs已经安装并正常工作 ERROR logger.type (AlluxioMaster.java:main) - Uncaught exception while running Alluxio master, stopping it and exiting.

0热度

2回答

MapReduce工作失败， “org.apache.commons.codec.binary.Base64.encodeBase64String（[B）Ljava /郎/字符串;”

我上有128GB的3个节点和每个40芯跑我集群上的MR工作。群集信息： 10.8.12.16：名称节点活跃，数据管理部，alluxio主，alluxio工人 10.8.12.17：名称节点待机，数据管理部，alluxio主备用，alluxio工人 10.8.12.18：数据管理部，alluxio工人版本信息：操作系统：红帽EL6 alluxio：1.2.0 的Hadoop：2.7.2 JDK

1热度

1回答

的Tachyon似乎没有意识到的可用内存

的只是为了看看的Tachyon会给我讲配置的内存比更多的可用我设置错误： # Some value over combined available mem and disk space. export TACHYON_WORKER_MEMORY_SIZE=1000GB 及观察到的网络用户界面配置却没有错误。当可用RAM超过时，是否有一些信息会被推送到磁盘？超过磁盘空间时会发生什么？删除文

0热度

1回答

如何为Spark-Tachyon集成启用基于谱系的容错功能？

我正在尝试使用Tachyon实现RDD/Dataframe共享。我的理解是，对于HDFS underFS，写入是异步的（在场景后面发生HDFS复制），因此速度应该更快，但在测试中我发现使用HDFS underFS的Tachyon在写入时速度较慢2-6倍。从this Tachyon paper我看到： “我们做了[基于谱系容错]配置在我们的星火和MapReduce一体化” 如何启用星火使用谱系基于

0热度

2回答

从Alluxio使用Spark java读取多个文件很慢

我已经在Spark上安装了本地的Alluxio，并且我在Alluxio的内存中插入了1000个文件。尽管读取文件速度很慢，但从Alluxio内存读取文件的时间与从磁盘读取文件的时间相等。我不understant为什么... File Name Size Block Size In-Memory Persistence State Pin Creation Time Modification Ti

0热度

2回答

如何在Tachyon中设置文件的TTL

我看到在Tachyon configuration中有一个密钥tachyon.master.ttlchecker.interval.ms（“以时间间隔（以毫秒为单位）来定期删除过期的ttl值的文件。”）但我已经查看了所有内容，找不到一种设置Tachyon文件的TTL值的方法。如何设置Tachyon文件的TTL（最好来自java/scala程序）？