kryo

1热度

1回答

我在使用Kryo序列化器的Spark（v1.6.1）应用程序中从Kafka接收到protobuf对象。在protobuf的物体看起来是这样的 - private A() { abc_ = ""; xyz_ = ""; ... some more fields aList_ = java.util.Collections.emptyList()

1热度

1回答

如何设置KRYO的不可修改的Collection串行火花代码

我在Java中使用的火花（V1.6.1）KRYO序列化和序列化的同时具有收藏在该领域的一类，它引发以下错误 - Caused by: java.lang.UnsupportedOperationException at java.util.Collections$UnmodifiableCollection.add(Collections.java:1055) at com

0热度

1回答

Apache spark - 如果您错误地拼写属性会发生什么

我正在修改Apache spark中的默认属性。我在AWS上使用EMR旋转集群。但是，我正在设置属性，并且不确定如何检查我的新配置是否替换默认配置。作为一个例子，我想修改Spark中的默认序列化。因此，我在创建群集时提供以下配置。 “分类”： “火花默认”， “属性”：{ “spark.serializer”： “org.apache.spark.serializer：KryoSerialize

1热度

1回答

警告：[Kryo]无法使用Kryo的类加载器加载类x

警告：[kryo]无法使用kryo的ClassLoader加载类slade.core.Child。重试与目前... 无法找到类：slade.core.Child 序列化跟踪：子（slade.core.Parent）我有一个问题，即尝试反序列化根对象类型中包含的自定义对象类型时，Kryo抛出上述错误。这只发生在从OSGi包内运行并从另一个OSGi包内引用对象时。（我使用Karaf作为我的OSG

1热度

1回答

反序列化对象的瞬态成员到非空默认使用KRYO

public class MyObj implements Serializable { private transient Map<String, Object> myHash = new HashMap<String, Object>(); ... } 我觉得这个问题 Deserialize a transient member of an object to a n

1热度

1回答

Spark Streaming：自定义接收器kryo使用Google Pubsub注册

我使用Spark 2.0.2和Kryo序列化。我试图实现自定义接收器从谷歌PubSub的摄入消息到星火流：运行使用该接收机火花作业时 class PubSubReceiver(project: String, topic: String, subscription: String) extends Receiver[Array[Byte]](StorageLevel.MEMORY_

0热度

1回答

用kryo序列化注册类的含义

我不明白为kryo序列化注册类是什么意思。给一些背景link在这里说， KRYO并不支持所有的序列化类型，并需要您提前注册，你将在程序中使用的类以获得最佳性能。同样，我不明白注册一个类是什么意思？序列化代码不是静态的，因为您应用相同的逻辑序列化所有类型的对象。那么先进的将会被序列化的类会怎么帮助呢？谢谢！

0热度

1回答

Spark＆Drools - 如何用Kryo序列化KieBase

我在异常中运行，试图序列化Spark中的KieBase对象。当我执行以下代码： val kieBase = kieContainer.getKieBase val broadcastKieBase = spark.sparkContext.broadcast(kieBase) 甲ConcurrentModificationException升高在螺纹异常 “主” com.esoteric

0热度

1回答

com.esotericsoftware.kryo.KryoException：无法创建类（缺少无参数构造函数）：scala.Tuple2

我无法通过在scala上使用Kryo进行序列化的最简单示例。我需要为此注册一个特定的序列化程序吗？感谢 val kryo = new Kryo() kryo.setRegistrationRequired(false) kryo.register(classOf[scala.Tuple2[Any, Any]]) val intstringtuple = (100,

0热度

1回答

如何单元测试一个类是可序列化的火花？

我刚刚在spark中发现了一个类的序列化错误。 =>现在，我想做一个单元测试，但我不知道如何？注：故障在已经广播的（解）序列化对象追加。我要考什么火花会做，断言它会工作一旦部署类序列化是一个标准类（不区分类别）延伸串行