Python:如何在 numpy 数组中逐行读取?

     2023-02-23     7

关键词:

【中文标题】Python:如何在 numpy 数组中逐行读取?【英文标题】:Python: How to read line by line in a numpy array? 【发布时间】:2016-06-05 08:11:13 【问题描述】:

我想知道我们可以在数组中逐行读取。例如:

array([[ 0.28,  0.22,  0.23,  0.27],
       [ 0.12,  0.29,  0.34,  0.21],
       [ 0.44,  0.56,  0.51,  0.65]])

以数组形式读取第一行以执行一些操作,然后继续第二行数组:

array([0.28,0.22,0.23,0.27])

产生上述数组的原因是这两行代码:

from numpy import genfromtxt
single=genfromtxt('single.csv',delimiter=',')

single.csv

0.28,  0.22,  0.23,  0.27
0.12,  0.29,  0.34,  0.21
0.44,  0.56,  0.51,  0.65

使用readlines() 似乎生成列表而不是数组。就我而言,我使用的是 csv 文件。我试图逐行使用值行,而不是一起使用它们以避免内存错误。谁能帮帮我?

with open('single.csv') as single:
    single=single.readlines()

【问题讨论】:

你的csv 里面有array([0.28,0.22,0.23,0.27]) 吗?这不是csv 格式。 readlines 产生一个字符串列表。解析每一行以获取数字 【参考方案1】:

你可以使用np.fromstring

import numpy as np
with open('single.csv') as f:
    lines=f.readlines()
    for line in lines:
        myarray = np.fromstring(line, dtype=float, sep=',')
        print(myarray)

见http://docs.scipy.org/doc/numpy-1.10.1/reference/generated/numpy.fromstring.html 和How to read csv into record array in numpy?

【讨论】:

对不起,我不熟悉 np.fromstring。它返回了这个错误:NameError: name 'double' is not defined【参考方案2】:

您似乎没有在 Python 中读取文件的经验。让我在 Ipython 迭代会话中详细介绍一个示例

创建多行文本来模拟您的文件

In [23]: txt="""0.28,  0.22,  0.23,  0.27
0.12,  0.29,  0.34,  0.21
0.44,  0.56,  0.51,  0.65"""

将其分成几行来模拟readlines的结果

In [24]: txt=txt.splitlines(True)

In [25]: txt
Out[25]: 
['0.28,  0.22,  0.23,  0.27\n',
 '0.12,  0.29,  0.34,  0.21\n',
 '0.44,  0.56,  0.51,  0.65']

我可以使用genfromtxt 将其转换为数组(您可以像这样将结果传递给readlinesgenfromtxt

In [26]: np.genfromtxt(txt, delimiter=',')
Out[26]: 
array([[ 0.28,  0.22,  0.23,  0.27],
       [ 0.12,  0.29,  0.34,  0.21],
       [ 0.44,  0.56,  0.51,  0.65]])

我可以遍历这些行,去掉 \n 并在 ',' 上拆分

In [27]: for line in txt:
    print line.strip().split(',')
   ....:     
['0.28', '  0.22', '  0.23', '  0.27']
['0.12', '  0.29', '  0.34', '  0.21']
['0.44', '  0.56', '  0.51', '  0.65']

我可以通过列表理解将每个字符串转换为浮点数:

In [28]: for line in txt:                                  
    print [float(x) for x in line.strip().split(',')]
   ....:     
[0.28, 0.22, 0.23, 0.27]
[0.12, 0.29, 0.34, 0.21]
[0.44, 0.56, 0.51, 0.65]

或者通过将迭代放在另一个列表推导中,我可以获得一个数字列表列表:

In [29]: data=[[float(x) for x in line.strip().split(',')] for line in  txt]

In [30]: data
Out[30]: [[0.28, 0.22, 0.23, 0.27], [0.12, 0.29, 0.34, 0.21], [0.44, 0.56, 0.51, 0.65]]

我可以把它变成一个数组

In [31]: np.array(data)
Out[31]: 
array([[ 0.28,  0.22,  0.23,  0.27],
       [ 0.12,  0.29,  0.34,  0.21],
       [ 0.44,  0.56,  0.51,  0.65]])

genfromtxt 本质上是在经历这个序列——读取行,拆分它们,将字符串转换为值,最后从列表中创建一个数组。

有捷径,但我认为你会从详细完成这些步骤中受益。它既是关于基本 Python 字符串和列表操作的练习,也是关于数组的练习。

【讨论】:

谢谢 :) 很有帮助。【参考方案3】:
for list in array:
    print(list)
    for item in list:
        print(item)

给出输出:

[0.28, 0.22, 0.23, 0.27]
0.28
0.22
0.23
0.27
[0.12, 0.29, 0.34, 0.21]
0.12
0.29
0.34
0.21
[0.44, 0.56, 0.51, 0.65]
0.44
0.56
0.51
0.65

【讨论】:

如何在 Julia 中逐行读取文件?

】如何在Julia中逐行读取文件?【英文标题】:HowtoreadafilelinebylineinJulia?【发布时间】:2020-01-2920:32:14【问题描述】:如何打开文本文件并逐行读取?我对两种不同的情况感兴趣:一次获取数组中的所有行。一次处理每一行。对... 查看详情

在python中逐行读取一个大的压缩文本文件

】在python中逐行读取一个大的压缩文本文件【英文标题】:Readalargezippedtextfilelinebylineinpython【发布时间】:2012-07-1400:05:52【问题描述】:我正在尝试使用zipfile模块来读取存档中的文件。未压缩文件约为3GB,压缩文件为200MB。我不... 查看详情

在 Go 中逐行读取文件

...题描述】:我在Go中找不到file.ReadLine函数。我可以弄清楚如何快速写一个,但我只是想知道我是否在这里忽略了一些东西。如何逐行读取文件?【问题讨论】:从Go1.1开始,bufio.Scanner是执行此操作的最佳方式。【参考方案1】:... 查看详情

如何在 html 文本区域中逐行读取文本? [复制]

】如何在html文本区域中逐行读取文本?[复制]【英文标题】:Howtoreadtextlinebylineinahtmltextarea?[duplicate]【发布时间】:2013-07-0920:12:29【问题描述】:如何逐行读取文本区域的内容或将文本拆分为不同的行以文本行的形式获取输入。... 查看详情

如何在 C# 中逐行读取 CMD 输出结果

】如何在C#中逐行读取CMD输出结果【英文标题】:HowtoReadCMDoutputresultslinebylineinC#【发布时间】:2021-08-0809:59:28【问题描述】:我想打开.bat文件,为此我使用cmd并为参数提供输入,最后我收到整个输出结果,但我只想获得最后一个... 查看详情

在 Swift 中逐行读取文件/URL

...描述】:我正在尝试读取NSURL中给出的文件并将其加载到数组中,其中项目由换行符\\n分隔。这是我目前的做法:varpossList:NSString?=NSString.stringWithContentsOfURL(filePath.URL)as?NSStringi 查看详情

如何在 React 中逐行读取磁盘中的大 csv 文件?

】如何在React中逐行读取磁盘中的大csv文件?【英文标题】:HowtoreadbigcsvfilefromdisklinebylineinReact?【发布时间】:2019-11-0108:18:04【问题描述】:我有一个大数据类型的csv文件。我想逐行阅读。我不想内存溢出。我正在寻找这个,但... 查看详情

从文件中逐行读取并存储到二维数组中

】从文件中逐行读取并存储到二维数组中【英文标题】:Readinglinebylinefromafileandstoringintoa2darray【发布时间】:2018-02-2621:05:40【问题描述】:我正在尝试从文件中逐行读取并将其存储到二维数组中。我得到了一个非常奇怪的输出,... 查看详情

如何在 Java 中逐行读取文本文件并分隔每一行的内容?

】如何在Java中逐行读取文本文件并分隔每一行的内容?【英文标题】:Howdoyoureadatextfile,linebyline,andseparatecontentsofeachlineinJava?【发布时间】:2015-10-1401:21:23【问题描述】:我想知道如何读取文件并扫描每一行,但将每一行的内容... 查看详情

在 Swift 中逐行读取文本文件?

...了我的代码,并且应用程序显示了整个文本文件的内容。如何逐行显示并多次调用该行?TextFile.txt包含以下内容:1.Banana2.Apple3.pear4.strawberry5.blueberry6.blackc 查看详情

如何在 Python 中逐行计算数据框的小计?

】如何在Python中逐行计算数据框的小计?【英文标题】:Howtocalculatesubtotals,linebylineofaDataFrameinPython?【发布时间】:2020-06-0623:32:46【问题描述】:我有以下DF:importpandasaspddf=pd.DataFrame([[\'2020/01/01\',\'A\',5],[\'2020/01/10\',\'B\',-2],[\'2020/0... 查看详情

如何使用python在字符串html中逐行添加“\ n”?

】如何使用python在字符串html中逐行添加“\\\\n”?【英文标题】:Howtoadd"\\n"linebylineinstringhtmlwithpython?如何使用python在字符串html中逐行添加“\\n”?【发布时间】:2021-12-2604:30:38【问题描述】:我有一行html格式如下:<o... 查看详情

如何从 C++ 中的文本文件中逐行读取整数? [复制]

】如何从C++中的文本文件中逐行读取整数?[复制]【英文标题】:Howtoreadintegerslinebylinefromatextfileinc++?[duplicate]【发布时间】:2020-02-2420:10:58【问题描述】:所以我有一个关于图表的问题,我必须从输入文件中读取多个案例并检查... 查看详情

在 C# 中逐行读取文件

】在C#中逐行读取文件【英文标题】:ReadingafilelinebylineinC#【发布时间】:2010-11-1906:20:55【问题描述】:我正在尝试读取一些文本文件,其中每一行都需要处理。目前我只是使用StreamReader,然后单独读取每一行。我想知道是否有... 查看详情

python从txt文件中逐行读取数据(代码片段)

非常的简单,提供三种方法:方法一:f=open("foo.txt")#返回一个文件对象line=f.readline()#调用文件的readline()方法whileline:printline,#后面跟','将忽略换行符#print(line,end='')   #在Python3中 查看详情

使用 mmap 在 C 中逐行读取文件的最佳方法? [关闭]

...布时间】:2016-02-1222:26:56【问题描述】:以下代码显示了如何使用mmap命令读取文件的一部分:addr=mmap(NULL,length+offset-pa_offset,PROT_READ,MAP_PRIVATE,fd,pa_offset);if( 查看详情

golang在#golang中逐行读取文件(代码片段)

查看详情

在 VBA 中逐行读取/解析文本文件

】在VBA中逐行读取/解析文本文件【英文标题】:Read/ParsetextfilelinebylineinVBA【发布时间】:2012-07-1617:45:47【问题描述】:我正在尝试使用VBA解析文本文档并返回文本文件中给出的路径。例如,文本文件如下所示:*Blahblahinstructions*B... 查看详情