加载一个文件python

Question

我想使用python加载文件，但我不想一次加载它。我有一个错误，我不知道如何解决它。

这是代码：

import numpy as np 
from itertools import islice 

with open('C:/Users/jack/Desktop/folder/a.txt') as f: 
    while True: 
     next_n_lines = np.loadtxt(islice(f, 2)) 
     if (next_n_lines.any()==0): 
      break 
     a = next_n_lines[:, 0:2] 
     b = next_n_lines[:, 2:4] 
     print(a) 
     print(b) 

，这是输出：

[[ 1. 2.] 
[ 2. 3.]] 
[[ 3. 4.] 
[ 4. 5.]] 
[[ 3. 4.] 
[ 4. 5.]] 
[[ 5. 6.] 
[ 6. 7.]] 
[[ 5. 6.] 
[ 6. 7.]] 
[[ 7. 8.] 
[ 8. 9.]] 
Traceback (most recent call last): 
    File "C:\Users\jack\Desktop\folder\a.py", line 9, in <module> 
    a = next_n_lines[:, 0:2] 
IndexError: too many indices for array 

这是我加载的文件：

1 2 3 4 
2 3 4 5 
3 4 5 6 
4 5 6 7 
5 6 7 8 
6 7 8 9 
7 8 9 10 

Answer 1

如果你需要一个备用和更高效地访问文件的任何行的标准方式，您可以检查st所提供的linecache模块andard图书馆。即使您无权访问NumPy，这也具有工作优势。

Answer 2

据我了解，你的加载文件有一行缺失，因此不可能创建最后两个数组。

这是一次加载两条线的方法：

import numpy as np 
from itertools import islice 

with open(r'C:\\path\\to\\file\\a.txt') as f: 
    while True: 
     try : 
      line1 = next(f) 
      line2 = next(f) 
     except StopIteration: 
      break 

     a1 = np.loadtxt(islice(line1.split(' '), 2)) 
     a2 = np.loadtxt(islice(line2.split(' '), 2)) 
     a = np.array([a1,a2]) 

     b1 = np.loadtxt(islice(line1.split(' '), 2, 4)) 
     b2 = np.loadtxt(islice(line2.split(' '), 2, 4)) 
     b = np.array([b1,b2]) 

     print(a) 
     print(b) 

f是一个迭代器，这样你就可以调用next方法来获取迭代器的下一个值。您可以将代码概括为一次读取n行。

输出是：

[[ 1. 2.] 
[ 2. 3.]] 
[[ 3. 4.] 
[ 4. 5.]] 
[[ 3. 4.] 
[ 4. 5.]] 
[[ 5. 6.] 
[ 6. 7.]] 
[[ 5. 6.] 
[ 6. 7.]] 
[[ 7. 8.] 
[ 8. 9.]] 

Answer 3

首先要确保你明白什么叫做切片和loadtxt产品。那么你可以担心分割数据：

In [150]: with open('stack46580159.txt') as f: 
    ...:  while True: 
    ...:   data = np.loadtxt(islice(f,2)) 
    ...:   print(data) 
    ...:   if (data.any()==0): 
    ...:    break 
    ...:   
[[ 1. 2. 3. 4.] 
[ 2. 3. 4. 5.]] 
[[ 3. 4. 5. 6.] 
[ 4. 5. 6. 7.]] 
[[ 5. 6. 7. 8.] 
[ 6. 7. 8. 9.]] 
[ 7. 8. 9. 10.] 
/usr/local/bin/ipython3:3: UserWarning: loadtxt: Empty input file: "<itertools.islice object at 0xab79bc84>" 
    # -*- coding: utf-8 -*- 
[] 

你有奇数的行数。因此，最后一个切片仅送入loadtxt一行（加上警告）。 loadtxt会返回一个1d数组，而不是您期待的2d数组。

一个简单的解决方法是确保data是2D你切之前

In [155]: with open('stack46580159.txt') as f: 
    ...:  while True: 
    ...:   data = np.loadtxt(islice(f,2)) 
    ...:   data = np.atleast_2d(data) 
    ...:   print(data) 
    ...:   if (data.any()==0): 
    ...:    break 
    ...:   data[:,:2] 
    ...:   
[[ 1. 2. 3. 4.] 
[ 2. 3. 4. 5.]] 
[[ 3. 4. 5. 6.] 
[ 4. 5. 6. 7.]] 
[[ 5. 6. 7. 8.] 
[ 6. 7. 8. 9.]] 
[[ 7. 8. 9. 10.]] 

有通过文件迭代，或者加载它所有，然后分裂的其他方式。但要确保你了解每一步发生了什么。不要只假设。