tachyon

    2热度

    1回答

    我正在使用Apache Spark构建应用程序。为了从其他应用的RDDS我想两种方法: 使用超光速粒子 使用a spark-jobserver 我是新来的Tachyon。我完成了a Running Tachyon on a Cluster中的以下任务 我可以从master:19999 URL访问UI。 从我成功地创建一个目录./bin/tachyon tfs mkdir /Test 的超光速粒子的

    1热度

    1回答

    我想确保我了解tachyon。使用带有hdfs的Tachyon或多或少等价于使用MEMORY_AND_DISK来持久化RDD。在这两种情况下,当数据量超过运行内存时,它们就会碰到硬盘。 我明白性能差异是由于JVM的垃圾收集。我只问过量溢出行为。

    0热度

    1回答

    我想在S3文件系统上设置Tachyon。我对Tachyon完全陌生,现在我仍然在阅读我能找到的东西。 !/usr/bin/env bash # This file contains environment variables required to run Tachyon. Copy it as tachyon-env.sh and # edit that to configure Tach

    0热度

    1回答

    我想在S3文件系统上设置Tachyon。对于HDFS,tachyon有一个名为TACHYON_UNDERFS_HDFS_IMPL的参数,它被设置为“org.apache.hadoop.hdfs.DistributedFileSystem”。有谁知道S3是否存在这样的参数?如果是这样,它的价值是什么? 在此先感谢您的帮助!

    0热度

    1回答

    当运行一个简单的例子时,我得到这个错误。 我试着改变权限并使用不同的目录。 Caused by: java.io.IOException: FailedToCheckpointException(message:Failed to rename /home/bryan/tachyon-0.7.1/underFSStorage/tmp/tachyon/workers/1445054000001/3/

    1热度

    2回答

    我有一个简单的例子,在安装了Tachyon,Spark和Hadoop的Dataproc主节点上运行。 我有从Spark写入Tachyon的复制错误。有什么方法可以指定它不需要复制吗? 15/10/17 08:45:21 WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.Remot