迹忆客 专注技术分享

假设我们有一个包含以下内容的文件，

我们需要逐行将文件内容读取到一个列表中 ["Line One: 1", "Line Two: 2", "Line Three: 3", "Line Four: 4", "Line Five: 5"]。

我们将介绍不同的方法来逐行读取文件到下面的列表。

readlines 返回流中的行列表。

>>> filePath = r"/your/file/path"
>>> with open(filePath, 'r', encoding='utf-8') as f:
    f.readlines()

    
['Line One: 1\n', 'Line Two: 2\n', 'Line Three: 3\n', 'Line Four: 4\n', 'Line Five: 5']

结束符 \n 也包含在字符串中，可以用 str.rstrip('\n') 来去除。

>>> with open(filePath, 'r', encoding='utf-8') as f:
    [_.rstrip('\n') for _ in f.readlines()]

    
['Line One: 1', 'Line Two: 2', 'Line Three: 3', 'Line Four: 4', 'Line Five: 5']

我们可以遍历文件以逐行读取它，而不用 readlines 方法。

>>> with open(filePath, 'r', encoding='utf-8') as f:
    [_.rstrip('\n') for _ in f]

    
['Line One: 1', 'Line Two: 2', 'Line Three: 3', 'Line Four: 4', 'Line Five: 5']

从内存使用的角度来看，此方法比上述方法要好得多。readlines 方法将文件的所有行都保存在内存中，但是遍历文件的交互方法仅将文件内容的一行存储到内存中并进行处理。如果文件大小过大，遍历文件的方法不会出现 readlines 方法中有可能引发的 MemoryError。

file.read(size=-1, /) 从文件中读取，直到 EOF 假如 size 未设置的话。我们可以使用 str.splitlines 函数从中分割行。

>>> with open(filePath, 'r') as f:
    f.read().splitlines()

    
['Line One: 1', 'Line Two: 2', 'Line Three: 3', 'Line Four: 4', 'Line Five: 5']

在默认 str.splitlines 方法的结果中不包含结尾字符\n。但是你可以包括 \n 假如将 keepends 参数设置为 True 的话。

>>> with open(filePath, 'r') as f:
    f.read().splitlines(keepends=True)

    
['Line One: 1\n', 'Line Two: 2\n', 'Line Three: 3\n', 'Line Four: 4\n', 'Line Five: 5']

我们将比较本文介绍的不同方法之间的效率表现。我们增加测试文件中的行数到 8000 以更方便地比较性能差异。

>>> timeit.timeit('''with open(filePath, 'r', encoding='utf-8') as f:
            f.readlines()''',
          setup='filePath=r"C:\Test\Test.txt"',
          number = 10000)
16.36330720000001
>>> timeit.timeit('''with open(filePath, 'r', encoding='utf-8') as f:
            [_ for _ in f]''',
          setup='filePath=r"C:\Test\Test.txt"',
          number = 10000)
18.37279060000003
>>> timeit.timeit('''with open(filePath, 'r', encoding='utf-8') as f:
            f.read().splitlines()''',
          setup='filePath=r"C:\Test\Test.txt"',
          number = 10000)
12.122660100000019

readlines() 方法明显优于文件迭代方法，并且 file.read().splitlines() 是最有效的方法，与其他两种方法相比，性能提升超过 25%。

但是，如果在内存受限的大数据 BigData 应用中，文件迭代方法是最好的方法，原因如上所解释的那样。