迹忆客 专注技术分享

当前位置:主页 > 学无止境 > 编程语言 > Python >

如何在 Python 中逐行读取一个文件到列表

作者:迹忆客 最近更新:2023/03/01 浏览次数:

假设我们有一个包含以下内容的文件,

我们需要逐行将文件内容读取到一个列表中 ["Line One: 1", "Line Two: 2", "Line Three: 3", "Line Four: 4", "Line Five: 5"]

我们将介绍不同的方法来逐行读取文件到下面的列表。

readlines 返回流中的行列表。

>>> filePath = r"/your/file/path"
>>> with open(filePath, 'r', encoding='utf-8') as f:
    f.readlines()

    
['Line One: 1\n', 'Line Two: 2\n', 'Line Three: 3\n', 'Line Four: 4\n', 'Line Five: 5']

结束符 \n 也包含在字符串中,可以用 str.rstrip('\n') 来去除。

>>> with open(filePath, 'r', encoding='utf-8') as f:
    [_.rstrip('\n') for _ in f.readlines()]

    
['Line One: 1', 'Line Two: 2', 'Line Three: 3', 'Line Four: 4', 'Line Five: 5']

我们可以遍历文件以逐行读取它,而不用 readlines 方法。

>>> with open(filePath, 'r', encoding='utf-8') as f:
    [_.rstrip('\n') for _ in f]

    
['Line One: 1', 'Line Two: 2', 'Line Three: 3', 'Line Four: 4', 'Line Five: 5']

从内存使用的角度来看,此方法比上述方法要好得多。readlines 方法将文件的所有行都保存在内存中,但是遍历文件的交互方法仅将文件内容的一行存储到内存中并进行处理。如果文件大小过大,遍历文件的方法不会出现 readlines 方法中有可能引发的 MemoryError

file.read(size=-1, /) 从文件中读取,直到 EOF 假如 size 未设置的话。我们可以使用 str.splitlines 函数从中分割行。

>>> with open(filePath, 'r') as f:
    f.read().splitlines()

    
['Line One: 1', 'Line Two: 2', 'Line Three: 3', 'Line Four: 4', 'Line Five: 5']

在默认 str.splitlines 方法的结果中不包含结尾字符\n。但是你可以包括 \n 假如将 keepends 参数设置为 True 的话。

>>> with open(filePath, 'r') as f:
    f.read().splitlines(keepends=True)

    
['Line One: 1\n', 'Line Two: 2\n', 'Line Three: 3\n', 'Line Four: 4\n', 'Line Five: 5']

我们将比较本文介绍的不同方法之间的效率表现。我们增加测试文件中的行数到 8000 以更方便地比较性能差异。

>>> timeit.timeit('''with open(filePath, 'r', encoding='utf-8') as f:
            f.readlines()''',
          setup='filePath=r"C:\Test\Test.txt"',
          number = 10000)
16.36330720000001
>>> timeit.timeit('''with open(filePath, 'r', encoding='utf-8') as f:
            [_ for _ in f]''',
          setup='filePath=r"C:\Test\Test.txt"',
          number = 10000)
18.37279060000003
>>> timeit.timeit('''with open(filePath, 'r', encoding='utf-8') as f:
            f.read().splitlines()''',
          setup='filePath=r"C:\Test\Test.txt"',
          number = 10000)
12.122660100000019

readlines() 方法明显优于文件迭代方法,并且 file.read().splitlines() 是最有效的方法,与其他两种方法相比,性能提升超过 25%。

但是,如果在内存受限的大数据 BigData 应用中,文件迭代方法是最好的方法,原因如上所解释的那样。

转载请发邮件至 1244347461@qq.com 进行申请,经作者同意之后,转载请以链接形式注明出处

本文地址:

相关文章

Django 中的 Slug

发布时间:2023/05/04 浏览次数:173 分类:Python

本篇文章旨在定义一个 slug 以及我们如何使用 slug 字段在 Python 中使用 Django 获得独特的帖子。

Django ALLOWED_HOSTS 介绍

发布时间:2023/05/04 浏览次数:181 分类:Python

本文展示了如何创建您的 Django 网站,为公开发布做好准备,如何设置 ALLOWED_HOSTS 以及如何在使用 Django 进行 Web 部署期间修复预期的主要问题。

Django 中的 Select_related 方法

发布时间:2023/05/04 浏览次数:129 分类:Python

本文介绍了什么是查询集,如何处理这些查询以及我们如何利用 select_related() 方法来过滤 Django 中相关模型的查询。

在 Django 中上传媒体文件

发布时间:2023/05/04 浏览次数:198 分类:Python

在本文中,我们简要介绍了媒体文件以及如何在 Django 项目中操作媒体文件。

Django 返回 JSON

发布时间:2023/05/04 浏览次数:106 分类:Python

在与我们的讨论中,我们简要介绍了 JSON 格式,并讨论了如何借助 Django 中的 JsonResponse 类将数据返回为 JSON 格式。

在 Django 中创建对象

发布时间:2023/05/04 浏览次数:59 分类:Python

本文的目的是解释什么是模型以及如何使用 create() 方法创建对象,并了解如何在 Django 中使用 save() 方法。

在 Django 中为多项选择创建字段

发布时间:2023/05/04 浏览次数:75 分类:Python

在本文中,我们将着眼于为多项选择创建一个字段,并向您展示如何允许用户在 Django 中进行多项选择。

扫一扫阅读全部技术教程

社交账号
  • https://www.github.com/onmpw
  • qq:1244347461

最新推荐

教程更新

热门标签

扫码一下
查看教程更方便