¿Cómo puedo combinar 200 archivos CSV en Python?

Question 1

Aquí tengo 200 archivos CSV separados nombrados de SH (1) a SH (200). Quiero fusionarlos en un solo archivo CSV. ¿Cómo puedo hacerlo?

Question 2

Como dijo ghostdog74, pero esta vez con encabezados:

with open("out.csv", "ab") as fout:
    # first file:
    with open("sh1.csv", "rb") as f:
        fout.writelines(f)
    # now the rest:    
    for num in range(2, 201):
        with open("sh"+str(num)+".csv", "rb") as f:
            next(f) # skip the header, portably
            fout.writelines(f)

Question 3

¿Por qué no puedes simplemente sed 1d sh*.csv > merged.csv?

¡A veces ni siquiera tienes que usar python!

Question 4

Use la respuesta aceptada de StackOverflow para crear una lista de archivos csv que desea agregar y luego ejecute este código:

import pandas as pd
combined_csv = pd.concat( [ pd.read_csv(f) for f in filenames ] )

Y si desea exportarlo a un solo archivo csv, use esto:

combined_csv.to_csv( "combined_csv.csv", index=False )

Question 5

fout=open("out.csv","a")
for num in range(1,201):
    for line in open("sh"+str(num)+".csv"):
         fout.write(line)    
fout.close()

Question 6

Solo voy a lanzar otro ejemplo de código a la cesta:

from glob import glob

with open('singleDataFile.csv', 'a') as singleFile:
    for csvFile in glob('*.csv'):
        for line in open(csvFile, 'r'):
            singleFile.write(line)

Question 7

Depende de lo que quiera decir con “fusionar”: ¿tienen las mismas columnas? ¿Tienen encabezados? Por ejemplo, si todos tienen las mismas columnas y no tienen encabezados, la concatenación simple es suficiente (abra el archivo de destino para escribir, recorra las fuentes abriendo cada una para lectura, use Shutil.copyfileobj desde la fuente abierta para lectura hasta el destino abierto para escritura, cierre la fuente, siga recorriendo — use el with declaración para hacer el cierre en su nombre). Si tienen las mismas columnas, pero también encabezados, necesitará un readline en cada archivo de origen excepto el primero, después de abrirlo para leerlo antes de copiarlo en el destino, para omitir la línea de encabezados.

Si los archivos CSV no tienen todos las mismas columnas, entonces debe definir en qué sentido los está “fusionando” (¿como un SQL JOIN? ¿O “horizontalmente” si todos tienen la misma cantidad de líneas? etc, etc. ) — es difícil para nosotros adivinar lo que quiere decir en ese caso.

Question 8

Bastante fácil de combinar todos los archivos en un directorio y fusionarlos

import glob
import csv


# Open result file
with open('output.txt','wb') as fout:
    wout = csv.writer(fout,delimiter=",") 
    interesting_files = glob.glob("*.csv") 
    h = True
    for filename in interesting_files: 
        print 'Processing',filename 
        # Open and process file
        with open(filename,'rb') as fin:
            if h:
                h = False
            else:
                fin.next()#skip header
            for line in csv.reader(fin,delimiter=","):
                wout.writerow(line)

¿Ha sido útil esta solución?