¿Cómo usar para encontrar archivos recursivamente?

Me gustaría enumerar todos los archivos recursivamente en un directorio. Actualmente tengo una estructura de directorios como esta:

• src/main.c
• src/dir/file1.c
• src/another-dir/file2.c
• src/another-dir/nested/files/file3.c

He intentado hacer lo siguiente:

from glob import glob

glob(os.path.join('src','*.c'))

Pero esto solo obtendrá archivos directamente en el src subcarpeta, por ejemplo, obtengo main.c pero no voy a conseguir file1.c, file2.c etc.

from glob import glob

glob(os.path.join('src','*.c'))
glob(os.path.join('src','*','*.c'))
glob(os.path.join('src','*','*','*.c'))
glob(os.path.join('src','*','*','*','*.c'))

Pero esto es obviamente limitado y torpe, ¿cómo puedo hacerlo correctamente?

Hay un par de maneras:

pathlib.Path().rglob()

Usar pathlib.Path().rglob() desde el pathlib módulo, que se introdujo en Python 3.5.

from pathlib import Path

for path in Path('src').rglob('*.c'):
    print(path.name)

globo.glob()

Si no quieres usar pathlib, usa glob.glob():

from glob import glob

for filename in glob('src/**/*.c', recursive=True):
    print(filename)   

Para los casos en los que los archivos coincidentes comienzan con un punto (.); como archivos en el directorio actual o archivos ocultos en un sistema basado en Unix, use el os.walk() solución a continuación.

os.caminar()

Para versiones anteriores de Python, use os.walk() para recorrer recursivamente un directorio y fnmatch.filter() para hacer coincidir con una expresión simple:

import fnmatch
import os

matches = []
for root, dirnames, filenames in os.walk('src'):
    for filename in fnmatch.filter(filenames, '*.c'):
        matches.append(os.path.join(root, filename))

Esta versión también debería ser más rápida según la cantidad de archivos que tenga, ya que el módulo pathlib tiene un poco de sobrecarga. os.walk().

Para pitón >= 3.5 puedes usar **, recursive=Truees decir:

import glob
for f in glob.glob('/path/**/*.c', recursive=True):
    print(f)

Si es recursivo True (por defecto False), el patrón ** coincidirá con cualquier archivo y cero o más directories y subdirectories. Si el patrón es seguido por un os.sepsolo directorios y subdirectories fósforo.

Demostración de Python 3

Similar a otras soluciones, pero usando fnmatch.fnmatch en lugar de glob, ya que os.walk ya enumeró los nombres de archivo:

import os, fnmatch


def find_files(directory, pattern):
    for root, dirs, files in os.walk(directory):
        for basename in files:
            if fnmatch.fnmatch(basename, pattern):
                filename = os.path.join(root, basename)
                yield filename


for filename in find_files('src', '*.c'):
    print 'Found C source:', filename

Además, el uso de un generador le permite procesar cada archivo a medida que se encuentra, en lugar de buscar todos los archivos. y luego procesándolos.

Modifiqué el módulo glob para admitir ** para globbing recursivo, por ejemplo:

>>> import glob2
>>> all_header_files = glob2.glob('src/**/*.c')

https://github.com/miracle2k/python-glob2/

Útil cuando desea proporcionar a sus usuarios la capacidad de usar la sintaxis ** y, por lo tanto, os.walk() por sí solo no es lo suficientemente bueno.

Comenzando con Python 3.4, uno puede usar el glob() método de uno de los Path clases en el nuevo rutalib módulo, que soporta ** comodines. Por ejemplo:

from pathlib import Path

for file_path in Path('src').glob('**/*.c'):
    print(file_path) # do whatever you need with these files

Actualizar:
A partir de Python 3.5, la misma sintaxis también es compatible con glob.glob().

import os
import fnmatch


def recursive_glob(treeroot, pattern):
    results = []
    for base, dirs, files in os.walk(treeroot):
        goodfiles = fnmatch.filter(files, pattern)
        results.extend(os.path.join(base, f) for f in goodfiles)
    return results

fnmatch te da exactamente los mismos patrones que globpor lo que este es realmente un excelente reemplazo para glob.glob con una semántica muy cercana. Una versión iterativa (por ejemplo, un generador), IOW un reemplazo para glob.iglobes una adaptación trivial (solo yield los resultados intermedios sobre la marcha, en lugar de extending una sola lista de resultados para volver al final).

Querrás usar os.walk para recopilar nombres de archivo que coincidan con sus criterios. Por ejemplo:

import os
cfiles = []
for root, dirs, files in os.walk('src'):
  for file in files:
    if file.endswith('.c'):
      cfiles.append(os.path.join(root, file))