kafka-python客户端支持Kafka 0.9,但显然不包含新的身份验证和加密功能,所以我的猜测是它只适用于开放服务器(如以前的版本)。无论如何,即使Java客户端需要一个特殊的消息中心登录模块来连接(或者从示例中看来),这表明除非有类似的Python模块可用,否则什么都不会起作用。我可以从Python调用Bluemix消息中心服务吗?
我的具体情况是,我想使用也在Bluemix(Apache Spark服务)中托管的Jupyter笔记本中的消息中心服务。
kafka-python客户端支持Kafka 0.9,但显然不包含新的身份验证和加密功能,所以我的猜测是它只适用于开放服务器(如以前的版本)。无论如何,即使Java客户端需要一个特殊的消息中心登录模块来连接(或者从示例中看来),这表明除非有类似的Python模块可用,否则什么都不会起作用。我可以从Python调用Bluemix消息中心服务吗?
我的具体情况是,我想使用也在Bluemix(Apache Spark服务)中托管的Jupyter笔记本中的消息中心服务。
在Bluemix Apache Spark服务本机支持此功能之前,您可以按照与Realtime Sentiment Analysis project相同的方法进行操作。帮助代码可以在cds labs spark samples github repo上找到。
在卡夫卡Python客户机的SASL支持已经请求:https://github.com/dpkp/kafka-python/issues/533但直到通过信息中心所使用的用户名/密码登录方法的支持,它将无法工作
我们添加了一些文本文档以外对非Java语言支持 - 见“连接和认证非Java应用程序”部分: https://www.ng.bluemix.net/docs/services/MessageHub/index.html
我们目前的验证方法是非标准的,而不是由Apache项目的支持,但治标不治本。 Message Hub团队正在与Apache Kafka社区合作开发KIP-43。一旦完成,我们将更改Message Hub认证实现以匹配,并且可以按照任何语言实现该规范的客户端。
我能够用卡夫卡的Python库连接:
$ pip install --user kafka-python
则...
from kafka import KafkaProducer
from kafka.errors import KafkaError
import ssl
############################################
# Service credentials from Bluemix UI:
############################################
bootstrap_servers = # kafka_brokers_sasl
sasl_plain_username = # user
sasl_plain_password = # password
############################################
sasl_mechanism = 'PLAIN'
security_protocol = 'SASL_SSL'
# Create a new context using system defaults, disable all but TLS1.2
context = ssl.create_default_context()
context.options &= ssl.OP_NO_TLSv1
context.options &= ssl.OP_NO_TLSv1_1
producer = KafkaProducer(bootstrap_servers = bootstrap_servers,
sasl_plain_username = sasl_plain_username,
sasl_plain_password = sasl_plain_password,
security_protocol = security_protocol,
ssl_context = context,
sasl_mechanism = sasl_mechanism,
api_version=(0,10))
# Asynchronous by default
future = producer.send('my-topic', b'raw_bytes')
# Block for 'synchronous' sends
try:
record_metadata = future.get(timeout=10)
except KafkaError:
# Decide what to do if produce request failed...
log.exception()
pass
# Successful result returns assigned partition and offset
print (record_metadata.topic)
print (record_metadata.partition)
print (record_metadata.offset)
这为我工作从Bluemix火花作为服务从jupyter笔记本,但是,请注意,这种方法不使用spark。代码刚刚在驱动主机上运行。
该解决方案对我来说非常适合! –