读入csv文件从HDFS

Question

我使用pydoop从HDFS文件读取数据框中，当我使用：

import pydoop.hdfs as hd 
with hd.open("/home/file.csv") as f: 
    print f.read() 

它显示我的stdout文件。

有没有什么办法让我在这个文件中读取数据框？我试过使用熊猫的read_csv（“/ home/file.csv”），但它告诉我无法找到该文件。确切的代码和错误是：

>>> import pandas as pd 
>>> pd.read_csv("/home/file.csv") 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "/usr/lib64/python2.7/site-packages/pandas/io/parsers.py", line 498, in parser_f 
    return _read(filepath_or_buffer, kwds) 
    File "/usr/lib64/python2.7/site-packages/pandas/io/parsers.py", line 275, in _read 
    parser = TextFileReader(filepath_or_buffer, **kwds) 
    File "/usr/lib64/python2.7/site-packages/pandas/io/parsers.py", line 590, in __init__ 
    self._make_engine(self.engine) 
    File "/usr/lib64/python2.7/site-packages/pandas/io/parsers.py", line 731, in _make_engine 
    self._engine = CParserWrapper(self.f, **self.options) 
    File "/usr/lib64/python2.7/site-packages/pandas/io/parsers.py", line 1103, in __init__ 
    self._reader = _parser.TextReader(src, **kwds) 
    File "pandas/parser.pyx", line 353, in pandas.parser.TextReader.__cinit__ (pandas/parser.c:3246) 
    File "pandas/parser.pyx", line 591, in pandas.parser.TextReader._setup_parser_source (pandas/parser.c:6111) 
IOError: File /home/file.csv does not exist 

Answer 1

我知道接下来一无所知hdfs，但我不知道下面可能的工作：

with hd.open("/home/file.csv") as f: 
    df = pd.read_csv(f) 

我认为read_csv作品与文件句柄，或事实上任何可以反馈它的行。我知道csv读者做的numpy。

pd.read_csv("/home/file.csv")如果常规Python文件open有效 - 即它将文件读取为常规本地文件，它将会工作。

with open("/home/file.csv") as f: 
    print f.read() 

但显然hd.open使用一些其他的位置或协议，因此该文件不是本地的。如果我的建议不起作用，那么您（或我们）需要深入研究hdfs文档。