是否可以从流数据流管道写入到memcache?还是需要写入pubsub并创建另一个计算引擎或应用程序引擎?从流数据流管道中写入到memcache
回答
对于我创建DOFN与Redis的客户Redis的。 如果你需要批量书写,可以做一些技巧。例如: link
是的,Dataflow工作人员可以与您需要的任何外部服务进行通信;他们只是没有特别限制或权限的虚拟机。
如果你只是写出数据到内存缓存,该Sink API将可能是有用的
谢谢,但你可以更具体。你能给我一个示例接收器调用,也显示我如何验证? –
如果你可以进一步了解你的用例,我可以举一个如何使用Sink API来实现它的例子。 关于身份验证,为了与任何Google提供的服务进行通信,您可以使用options.getGcpCredential() – danielm
中的凭据从数据流自定义接收器页面,它表示您只能写入有界数据,但我需要从数据流管道“。您可以使用可扩展API创建自定义源,以读取有界(批量)或无界(流)数据,并创建只写入有界数据的接收器。” –
- 1. 写入数据流到PostgreSQL
- 2. 当管道读取流写入流时,听写吗?
- 3. 调度数据流管道
- 4. 管道数据流设有
- 5. 如何在管道后写入流?
- 6. 管道到C++流
- 7. 将数据流管道的输出写入分区目标
- 8. 从Cloud Pubsub到数据存储区的数据流管道
- 9. 使用带管道流的普通流写入器/阅读器
- 10. 从数据存储流入数据流?
- 11. 张量流输入管道
- 12. 如何在数据流中使用memcache?
- 13. 将readstream管道写入写入流不起作用
- 14. 管道NodeJS流到阵列
- 15. 管道到标准输出和可写入流
- 16. 如何从多线程写入流数据到Azure数据湖?
- 17. 数据流管道和pubsub模拟器
- 18. 数据流管道持有内存
- 19. 通过管道处理流式数据
- 20. Google云端数据流管道设置
- 21. NotSerializableException:org.apache.avro.io.DecoderFactory在谷歌云数据流管道
- 22. 写入/读取使用命名管道C++中的数据流(双)
- 23. IClientMessageInspector.AfterReceiveReply只写道: “...的数据流......”
- 24. 在数据流管道中从数据存储中读取数据时缓慢
- 25. 管道流问题
- 26. Mplayer和管道流
- 27. Google云数据流管道中的异常云到Bigtable
- 28. 从输入中读取数据在Smalltalk中逐行写入流
- 29. 管道流输出到NodeJS中的Socket.IO
- 30. 为什么我写入python子流程stdin管道时数据丢失?
谢谢,我现在也切换到redis。我不是批量写作,但这个链接很有见地。 –