2016-02-09 47 views
1

kafka-python客户端支持Kafka 0.9,但显然不包含新的身份验证和加密功能,所以我的猜测是它只适用于开放服务器(如以前的版本)。无论如何,即使Java客户端需要一个特殊的消息中心登录模块来连接(或者从示例中看来),这表明除非有类似的Python模块可用,否则什么都不会起作用。我可以从Python调用Bluemix消息中心服务吗?

我的具体情况是,我想使用也在Bluemix(Apache Spark服务)中托管的Jupyter笔记本中的消息中心服务。

回答

0

我们添加了一些文本文档以外对非Java语言支持 - 见“连接和认证非Java应用程序”部分: https://www.ng.bluemix.net/docs/services/MessageHub/index.html

我们目前的验证方法是非标准的,而不是由Apache项目的支持,但治标不治本。 Message Hub团队正在与Apache Kafka社区合作开发KIP-43。一旦完成,我们将更改Message Hub认证实现以匹配,并且可以按照任何语言实现该规范的客户端。

2

我能够用卡夫卡的Python库连接:

$ pip install --user kafka-python 

则...

from kafka import KafkaProducer 
from kafka.errors import KafkaError 
import ssl 

############################################ 
# Service credentials from Bluemix UI: 
############################################ 
bootstrap_servers = # kafka_brokers_sasl 
sasl_plain_username = # user 
sasl_plain_password = # password 
############################################ 

sasl_mechanism = 'PLAIN' 
security_protocol = 'SASL_SSL' 

# Create a new context using system defaults, disable all but TLS1.2 
context = ssl.create_default_context() 
context.options &= ssl.OP_NO_TLSv1 
context.options &= ssl.OP_NO_TLSv1_1 

producer = KafkaProducer(bootstrap_servers = bootstrap_servers, 
         sasl_plain_username = sasl_plain_username, 
         sasl_plain_password = sasl_plain_password, 
         security_protocol = security_protocol, 
         ssl_context = context, 
         sasl_mechanism = sasl_mechanism, 
         api_version=(0,10)) 

# Asynchronous by default 
future = producer.send('my-topic', b'raw_bytes') 

# Block for 'synchronous' sends 
try: 
    record_metadata = future.get(timeout=10) 
except KafkaError: 
    # Decide what to do if produce request failed... 
    log.exception() 
    pass 

# Successful result returns assigned partition and offset 
print (record_metadata.topic) 
print (record_metadata.partition) 
print (record_metadata.offset) 

这为我工作从Bluemix火花作为服务从jupyter笔记本,但是,请注意,这种方法不使用spark。代码刚刚在驱动主机上运行。

+0

该解决方案对我来说非常适合! –

相关问题