属性文件来配置hortonworks上的风暴拓扑和kafka

我正在Hortonworks上使用Storm进行Hbase和Hive中的实时数据摄入，并且我开发了风暴拓扑以接收来自kafka代理的数据拓扑结构已提交，我可以看到我的kafkaspout和我的两个螺栓，但是，我不知道为什么我的kafkaSpout不会消耗来自Kafka Brokers的消息，但是当我形象化拓扑时：0%数据已被消耗！属性文件来配置hortonworks上的风暴拓扑和kafka

我也有一个错误在我hdfsbolt：

java.lang.RuntimeException: Error preparing HdfsBolt: Permission denied: user=storm, access=WRITE, inode="/infos-cliens-v4/staging/infosClientshdfsBolt-4-0-1462472414665.txt":hdfs:hdfs:drwxr-xr-x at

我@ip是192.168.1.78

我想我有修复性文件，但我不知道如何：

#Broker host 
    kafka.zookeeper.host.port=localhost 
    #Kafka topic to consume. 
    kafka.topic=TOPICINFORMATIONSCLIENTS 
    #Location in ZK for the Kafka spout to store state. 
    kafka.zkRoot=/infos_clients_sprout 
    #Kafka Spout Executors. 
    spout.thread.count=1 

    #hdfs bolt settings 
    hdfs.path=/infos-cliens-v4 
    hdfs.url=hdfs://sandbox.hortonworks.com:8020 
    hdfs.file.prefix=infosClients 
    #data will be moved from hdfs to the hive partition 
    #on the first write after the 1st minute. 
    hdfs.file.rotation.time.minutes=1 

    #hbase bolt settings 
    hbase.persist.all.events=false 


    PLZ Help me

来源

2016-05-05 Marki

您的用户是

风暴

但是写作目录由HDFS所有。因此改变该目录的用户权限，并使用

CHOWN

命令使风暴的用户。

如果您能够连接到Hbase，请首先使用java代码检查。然后在Storm拓扑中测试相同的逻辑。

来源

2016-05-06 14:24:53

感谢我maked风暴的用户，但我的卡夫卡壶嘴不消耗我不知道为什么 – Marki

仔细检查正确的主题名称，IP或主机名等..你检查风暴和卡夫卡记录的消息错误消息？。另请参阅STORM UI以获取任何线索。 Thx –

当我运行制片人时，我得到这个错误！ – Marki

@Property zk.connect is not valid                 
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".                      
SLF4J: Defaulting to no-operation (NOP) logger implementation                       
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.                 
16/05/07 10:27:09 WARN common.AppInfo$: Can't read Kafka version from MANIFEST.MF. Possible cause: java.lang.NullPointerException    

    enter code here

来源

2016-05-07 10:42:11 Marki

属性文件来配置hortonworks上的风暴拓扑和kafka

回答

相关问题