的Python的句子串滑动窗口

Question

我在寻找与窗口大小N.单词组成的字符串的滑动窗口分流

输入：“我爱美食，我喜欢喝”，窗口大小3

输出：“我爱的食物”，“爱的食物和”，“食品和我”，“我喜欢” .....]

所有窗口滑动的建议是围绕序列字符串，没有条款。盒子里有东西吗？

Answer 1

您可以使用具有不同偏移量的迭代器并将它们全部压缩。

>>> arr = "I love food. blah blah".split() 
>>> its = [iter(arr), iter(arr[1:]), iter(arr[2:])] #Construct the pattern for longer windowss 
>>> zip(*its) 
[('I', 'love', 'food.'), ('love', 'food.', 'blah'), ('food.', 'blah', 'blah')] 

您可能需要使用izip，如果你有长句，也可以是普通的旧环（像其他的答案）。

Answer 2

def token_sliding_window(str, size): 
    tokens = str.split(' ') 
    for i in range(len(tokens)- size + 1): 
     yield tokens[i: i+size] 

Answer 3

基于下标串序列的方法：

def split_on_window(sequence="I love food and I like drink", limit=4): 
    results = [] 
    split_sequence = sequence.split() 
    iteration_length = len(split_sequence) - (limit - 1) 
    max_window_indicies = range(iteration_length) 
    for index in max_window_indicies: 
     results.append(split_sequence[index:index + limit]) 
    return results 

样本输出：

>>> split_on_window("I love food and I like drink", 3) 
['I', 'love', 'food'] 
['love', 'food', 'and'] 
['food', 'and', 'I'] 
['and', 'I', 'like'] 
['I', 'like', 'drink'] 

这里有一个备选答案由@SuperSaiyan启发：

from itertools import izip 

def split_on_window(sequence, limit): 
    split_sequence = sequence.split() 
    iterators = [iter(split_sequence[index:]) for index in range(limit)] 
    return izip(*iterators) 

样本输出：

>>> list(split_on_window(s, 4)) 
[('I', 'love', 'food', 'and'), ('love', 'food', 'and', 'I'), 
('food', 'and', 'I', 'like'), ('and', 'I', 'like', 'drink')] 

基准：

Sequence = I love food and I like drink, limit = 3 
Repetitions = 1000000 
Using subscripting -> 3.8326420784 
Using izip -> 5.41380286217 # Modified to return a list for the benchmark.