Python递归文件夹读取

我有c++ /Obj-C背景，我刚刚发现Python(写了大约一个小时)。我正在写一个脚本递归地读取文件夹结构中的文本文件的内容。

我的问题是，我写的代码将只工作于一个文件夹深度。我可以在代码中看到为什么(见#hardcoded path)，我只是不知道如何使用Python，因为我对它的经验只是全新的。

Python代码:

import os
import sys

rootdir = sys.argv[1]

for root, subFolders, files in os.walk(rootdir):

    for folder in subFolders:
        outfileName = rootdir + "/" + folder + "/py-outfile.txt" # hardcoded path
        folderOut = open( outfileName, 'w' )
        print "outfileName is " + outfileName

        for file in files:
            filePath = rootdir + '/' + file
            f = open( filePath, 'r' )
            toWrite = f.read()
            print "Writing '" + toWrite + "' to" + filePath
            folderOut.write( toWrite )
            f.close()

        folderOut.close()

当前回答

pathlib库非常适合处理文件。你可以在Path对象上做这样的递归glob。

from pathlib import Path

for elem in Path('/path/to/my/files').rglob('*.*'):
    print(elem)

2019-12-27 01:06:18

其他回答

pathlib库非常适合处理文件。你可以在Path对象上做这样的递归glob。

from pathlib import Path

for elem in Path('/path/to/my/files').rglob('*.*'):
    print(elem)

2019-12-27 01:06:18

TL;DR:这相当于找到-type f来遍历下面所有文件夹中的所有文件，包括当前文件:

for currentpath, folders, files in os.walk('.'):
    for file in files:
        print(os.path.join(currentpath, file))

正如已经在其他答案中提到的，os.walk()是答案，但它可以更好地解释。这很简单!让我们来看看这棵树:

docs/
└── doc1.odt
pics/
todo.txt

下面的代码:

for currentpath, folders, files in os.walk('.'):
    print(currentpath)

currentpath是它正在查看的当前文件夹。这将输出:

.
./docs
./pics

它循环了三次，因为有三个文件夹:当前文件夹，文档文件夹和图片文件夹。在每个循环中，它用所有文件夹和文件填充变量文件夹和文件。让我们向他们展示:

for currentpath, folders, files in os.walk('.'):
    print(currentpath, folders, files)

这告诉我们:

# currentpath  folders           files
.              ['pics', 'docs']  ['todo.txt']
./pics         []                []
./docs         []                ['doc1.odt']

在第一行中，我们看到我们在。文件夹中，它包含两个文件夹，即pics和docs，还有一个文件，即todo。txt。你不需要做任何事情递归到这些文件夹中，因为如你所见，它会自动递归给你任何子文件夹中的文件。以及它的任何子文件夹(尽管在示例中没有)。

如果你只想遍历所有文件，相当于find -type f，你可以这样做:

for currentpath, folders, files in os.walk('.'):
    for file in files:
        print(os.path.join(currentpath, file))

这个输出:

./todo.txt
./docs/doc1.odt

2019-07-26 15:39:10

我发现下面的方法是最简单的

from glob import glob
import os

files = [f for f in glob('rootdir/**', recursive=True) if os.path.isfile(f)]

使用glob('some/path/**'， recursive=True)获取所有文件，但也包括目录名。添加if os.path.isfile(f)条件只过滤现有文件

2020-03-04 20:20:40

我认为问题在于你没有处理os的输出。正确的走路。

首先,改变:

filePath = rootdir + '/' + file

to:

filePath = root + '/' + file

Rootdir是固定的起始目录;Root是os.walk返回的目录。

其次，您不需要缩进您的文件处理循环，因为对每个子目录运行这个没有意义。您将获得每个子目录的根集。您不需要手动处理子目录，除非您想对目录本身做一些事情。

2010-02-06 09:34:45

如果仅仅是文件名还不够，在os.scandir()上实现深度优先搜索是很容易的:

stack = ['.']
files = []
total_size = 0
while stack:
    dirname = stack.pop()
    with os.scandir(dirname) as it:
        for e in it:
            if e.is_dir(): 
                stack.append(e.path)
            else:
                size = e.stat().st_size
                files.append((e.path, size))
                total_size += size

医生是这么说的:

scandir()函数返回目录条目和文件属性信息，为许多常见用例提供了更好的性能。

2021-12-17 21:09:51

Python递归文件夹读取

推荐文章

最新文章

标签