2015-10-22 53 views
3

我是全新的斯卡拉和阿卡。我有一个简单的RunnableFlow:Akka-Streams收集数据(源 - >流 - >流(收集) - >接收器)

Source -> Flow (do some transformation) -> Sink.runForeach 

现在,我想是这样的:

Source -> Flow1 (do some transformation) -> Flow2 (do some transformation) -> Sink.runForeach 

但是参加中级课程应该等到从初级流瑜伽100元可用,然后把这些100个元素的新元素(它需要Flow1中的所有100个元素)并将这个新元素赋予接收器。

我做了一些研究,发现Explicit user defined buffers,但我不明白我如何在flow2中访问flow1中的所有100个元素,并对它们进行一些转换。有人可以解释吗?或者更好的发布一个简单的例子?或两者?

回答

8

阿卡限定集合

如果你不介意使用阿卡确定集合然后键入您可以使用grouped函数:

//alternative stream formation 
val stream = Source(1 to 100).via(Flow[Int].grouped(bufferSize)) 
          .runWith(Sink foreach println) 

用户定义集合

如果你想控制缓冲区使用的集合类型,例如一个SeqArray,那么你可以用两个Flow来执行这个操作。第一流执行scan建立元素序列和第二流是恰到好处的大小顺序的filter(即“金发姑娘”):

import akka.actor.ActorSystem 

import akka.stream.ActorMaterializer 
import akka.stream.scaladsl.{Source, Flow, Sink} 

object CollectFlowTest extends App { 

    implicit val as = ActorSystem() 

    implicit val mat = ActorMaterializer() 

    val bufferSize = 10 

    val buffer = 
    Flow[Int].scan[Seq[Int]](Seq.empty[Int]) {(seq, i) => 
     if(seq.size < bufferSize) 
     seq :+ i 
     else 
     Seq(i) 
    } 

    val goldiLocks = 
    Flow[Seq[Int]].filter(_.size == bufferSize) 

    val stream = Source(1 to 100).via(buffer) 
           .via(goldiLocks) 
           .runWith(Sink foreach println) 

    implicit val ec = as.dispatcher 
    stream onComplete {_ => scala.util.Try(as.shutdown())} 
} 

然后,您可以添加你的“中级课程” goldiLocks流后。

从2 Flow解决方案中的println表明,所产生的序列是所有尺寸正确的:

Seq(1, 2, 3, 4, 5, 6, 7, 8, 9, 10) 
Seq(11, 12, 13, 14, 15, 16, 17, 18, 19, 20) 
Seq(21, 22, 23, 24, 25, 26, 27, 28, 29, 30) 
Seq(31, 32, 33, 34, 35, 36, 37, 38, 39, 40) 
Seq(41, 42, 43, 44, 45, 46, 47, 48, 49, 50) 
Seq(51, 52, 53, 54, 55, 56, 57, 58, 59, 60) 
Seq(61, 62, 63, 64, 65, 66, 67, 68, 69, 70) 
Seq(71, 72, 73, 74, 75, 76, 77, 78, 79, 80) 
Seq(81, 82, 83, 84, 85, 86, 87, 88, 89, 90) 
Seq(91, 92, 93, 94, 95, 96, 97, 98, 99, 100) 
+0

感谢这正是我一直在寻找 –

+2

'流量[INT] .grouped(缓冲区大小)'更简单。 – sschaef