使用sqlite3dbm与mrjob地图减少

Question

我有一个sqlite3dbm存储键值对中的数据。我需要使用mrjob来处理它。 当我运行我的代码xyz.py my_db.db时，mapper fn无法正常工作。

def mapper(k,val): 
    for word in val: 
    yield(word,k) 

我得到空的k

Answer 1

Check this。您需要适当地配置您的作业才能从数据库文件读取数据。