apache-storm

1热度

2回答

对不起我的英文不好。有一个很大的风暴集群，工作人员总是同时创建一些文件，问题是我不想重复这个文件名。我的老板让我用格式'timestamp-random-othername'创建一个文件名，时间戳是自1970-1-1 00:00:00以来的一个数字，随机数是从00000到99999的五位数。大约有一个数千名工作人员正在运行......并在不同的机器上运行我正在寻找一种使时间戳相同时随机数不同的

1热度

1回答

卡夫卡生产者配额

这里是我们的物联网平台的入站邮件传递流程： Device ---(MQTT)---> RabbitMQ Broker ---(AMQP)---> Apache Storm ---> Kafka 我期待实现解决方案，有效地限制/节流数据以每个发布到卡夫卡每秒量客户基础。当前的策略利用Guava的RateLimiter，每个设备都有自己的本地缓存实例。当接收到设备消息时，映射到该deviceId

2热度

1回答

如何根据消息中的值将元组发送到不同的螺栓

我有一个Storm集群连接到Kinesis Stream。消息看起来像这样。 { _c: "a" } ，或者它应该是 { _c: "b" } 我想与_c = “a” 到一个螺栓和_c = “b” 的发送的元组到不同的螺栓。我如何实现这一目标？这是使用GSON @Override public void execute(Tuple tuple) { St

1热度

1回答

实现不带接口类型参数的接口

Apache Storm具有带无类型Map的接口IBasicBolt。 //org.apache.storm.topology.IBasicBolt public interface IBasicBolt extends IComponent { void prepare(Map stormConf, TopologyContext context); ... } 我想

0热度

2回答

AbstractStringBuilder.ensureCapacityInternal在风暴之锤得到NullPointerException异常

在线系统，风暴博尔特获得NullPointerException异常，但我认为我行61前检查;偶尔会得到NullPointerException; import ***.KeyUtils; import ***.redis.PipelineHelper; import ***.redis.PipelinedCacheClusterClient; import **.redis.R2mClus

0热度

1回答

Apache Storm - 无法找到或加载主类org.apache.storm.starter.ExclamationTopology

我对maven和storm真的很陌生，所以我试图按照https://github.com/apache/storm/tree/master/examples/storm-starter中的说明操作。我目前的路径是/ home/luc/theTest/storm/examples/storm-starter。目标文件夹内有一个storm-starter-2.0.0-SNAPSHOT.jar文件。运行

0热度

1回答

风暴拓扑如何处理元组？

描述有关拓扑：喷口不断地发送元组来读取螺栓。读取螺栓过程并将结果发送到下一个螺栓等。的情况： 1喷口发送元组1读螺栓 2读螺栓给出元组1写螺栓 3写入螺栓给出元组1至R螺栓 4 R螺栓工艺元组1 当元组2从s发送噘？处理完R元组中的元组1后或者readbolt发送元组1后写入螺栓？

0热度

1回答

如何在apache风暴中启动worker

在拓扑提交期间，我的管理员自动关闭了并且worker还没有启动。在我的风雨中，主管总结中没有可用的数据。

0热度

1回答

卡夫卡喷口错误“消费者没有订阅任何主题或分配任何分区”

我正在使用Storm版本1.1.0和卡夫卡版本0.10.1.2。我创造卡夫卡壶嘴如下： public KafkaSpout<String, String> getKafkaSpout() { String _kafkaBrokers = (String) props.get("bootstrap.servers"); String _topic = (String) prop

0热度

1回答

如何知道Kafka-Storm中的重试次数

我知道SpoutConfig有retryLimit来设置消息可以重新处理的次数。关于retryLimit，这是我在SpoutConfig.class找到的消息：指数回退重试设置。这些被 ExponentialBackoffMsgRetryManager用于在螺栓调用OutputCollector.fail（）后重试消息。我想知道是否有任何方法可以知道当我的代码中的任何给定螺栓处理Tuple