2012-05-28 137 views
3

我将字符串分割为字符串C++串分割分割错误

vector<string> tokens; 

    stringstream strstm(str); 
    string item; 
    while (getline(strstm, item, ' ')) { 
     tokens.push_back(item); 
    } 

    token_idx = 0; 

    cout << "size = " << tokens.size() << endl; 

    for (unsigned int i = 0; i < tokens.size(); i++) 
    { 
     cout << tokens[i] << "[" << i << "]" << endl; 
    } 

的分化是成功的载体,和尺寸()和它的元素也是我喜欢它是。然而,当我试图获得它的价值时,最后一个令牌似乎行事异常。

string Lexer::consume() { 
    if (hasValue()) { 
     token_idx++; 
     cout << "consumed " << tokens[token_idx-1] << " tokens = " << token_idx -1 << endl; 
     return tokens[token_idx-1]; 
    } 
    cout << "didn't consume, token_idx = " << token_idx << endl; 
    return "null"; 
} 

hasVal是这样

bool Lexer::hasValue() { 
    if (token_idx < tokens.size()) { 
     return true; 
    } else { 
     return false; 
    } 
} 

,如果我有一个输入字符串像这样1 + 2 * 3从我的节目预计输出的应该是(+1(*23)),但我得到一个分段错误。

size = 5 
1[0] 
+[1] 
2[2] 
*[3] 
3[4] 
consumed 1 tokens = 0 
consumed + tokens = 1 
consumed 2 tokens = 2 
consumed * tokens = 3 
consumed 3 tokens = 4 
Segmentation fault (core dumped) 

但是,如果我改变了值检查(token_idx < tokens.size() -1),程序将返回(+1 (*2 null))

size = 5 
1[0] 
+[1] 
2[2] 
*[3] 
3[4] 
consumed 1 tokens = 0 
consumed + tokens = 1 
consumed 2 tokens = 2 
consumed * tokens = 3 
didn't consume, token_idx = 4 
(+1 (*2 null)) 

所以我想知道如果分割方式时,有3个后线的终点,我是否还有一些其他因素会导致这种行为?我相当肯定我不会超出界限。

+0

它在哪一行崩溃? –

+0

我在核心转储文件上使用了gdb,但是它给我的信息非常含糊,并且不会告诉我它崩溃的代码行。 使用命令'gdb prefixer core.3211'我得到 '核心是由'./prefixer'生成的。 程序以信号11结束,分段故障。 #0 0x0000003b1229c0d3 in std :: basic_string ,std :: allocator > :: size()const来自/usr/lib64/libstdc++.so.6 缺少单独的debuginfos,请使用: debuginfo-install glibc-2.12-1.47.el6_2.12.x86_64 libgcc-4.4.6-3.el6.x86_64 libstdC++ - 4.4.6-3.el6.x86_64' –

+0

你用g ++编译吗?使用-g选项? –

回答

1

我认为真正导致错误的代码没有显示出来,但是因为我可以感觉到你操作指针的方式......没有任何隐瞒,你在访问你的令牌列表的末尾时出错,另外还有一个容易出错的设计,就是这样。

if (hasValue()) { // has value is useless to me 
    token_idx++; // why incrementing this here ? 

    cout << "consumed " << tokens[token_idx-1] << " tokens = " << token_idx -1 << endl; 

    return tokens[token_idx-1]; 
} 

它改成这样:

if (token_idx < tokens.size()) { 
    cout << "consumed " << tokens[token_idx] << " tokens = " << token_idx << endl; 

    return tokens [ token_idx++ ]; 
} 

也了解recursive descent parsing,这是真的简单,你将会有很多的分析更明智的,避免一些常见的陷阱。