¿Una comparación entre fastparquet y pyarrow?

Question 1

Después de algunas búsquedas, no pude encontrar una comparación exhaustiva de fastparquet y pyarrow.

encontré este blog correo (una comparación básica de velocidades).

y un github discusión que afirma que los archivos creados con fastparquet no son compatibles con AWS-athena (por cierto, ¿sigue siendo así?)

¿Cuándo/por qué usaría uno sobre el otro? ¿Cuáles son las principales ventajas y desventajas?

mi caso de uso específico es el procesamiento de datos con dask escribiéndolo en s3 y luego leyéndolo/analizándolo con AWS-athena.

Question 2

Utilicé fastparquet y pyarrow para convertir datos de protobuf a parquet y consultar lo mismo en S3 usando Athena. Ambos funcionaron, sin embargo, en mi caso de uso, que es una función lambda, el archivo zip del paquete debe ser liviano, así que seguí adelante con fastparquet. (la biblioteca fastparquet ocupaba solo 1,1 mb, mientras que la biblioteca pyarrow ocupaba 176 mb y el límite del paquete Lambda es de 250 mb).

Usé lo siguiente para almacenar un marco de datos como archivo de parquet:

from fastparquet import write

parquet_file = path.join(filename + '.parq')
write(parquet_file, df_data)

Question 3

Sin embargo, dado que la pregunta carece de criterios concretos, y vine aquí por una buena “elección predeterminada”, quiero afirmar que motor predeterminado de pandas para objetos DataFrame es pyarrow (ver pandas documentos).

Question 4

Señalaría que el autor de la comparación de velocidad también es el autor de pyarrow 🙂 Puedo hablar sobre el caso de fastparquet.

Desde su punto de vista, lo más importante que debe saber es la compatibilidad. Athena no es uno de los objetivos de prueba para fastparquet (o pyarrow), por lo que debe probar a fondo antes de hacer su elección. Hay una serie de opciones que es posible que desee invocar (documentos) para la representación de fecha y hora, nulos, tipos, que pueden ser importantes para usted.

Escribir en s3 usando dask es ciertamente un caso de prueba para fastparquet, y creo que pyarrow tampoco debería tener problemas con eso.

Question 5

Acabo de usar fastparquet para un caso para obtener datos de Elasticsearch y almacenarlos en S3 y consultar con Athena y no tuve ningún problema.

Usé lo siguiente para almacenar un marco de datos en S3 como archivo de parquet:

import s3fs
import fastparquet as fp
import pandas as pd
import numpy as np

s3 = s3fs.S3FileSystem()
myopen = s3.open
s3bucket="mydata-aws-bucket/"

# random dataframe for demo
df = pd.DataFrame(np.random.randint(0,100,size=(100, 4)), columns=list('ABCD'))

parqKey = s3bucket + "datafile"  + ".parq.snappy"
fp.write(parqKey, df ,compression='SNAPPY', open_with=myopen)

Mi tabla se parece a esto en Athena:

CREATE EXTERNAL TABLE IF NOT EXISTS myanalytics_parquet (
  `column1` string,
  `column2` int,
  `column3` DOUBLE,
  `column4` int,
  `column5` string
 )
STORED AS PARQUET
LOCATION 's3://mydata-aws-bucket/'
tblproperties ("parquet.compress"="SNAPPY")

Question 6

Esta pregunta puede ser un poco antigua, pero estoy trabajando en el mismo problema y encontré este punto de referencia https://wesmckinney.com/blog/python-parquet-update/ . Según él, pyarrow es más rápido que fastparquet, no es de extrañar que sea el motor predeterminado que se usa en dask.

Actualizar:

Una actualización de mi respuesta anterior. He tenido más suerte escribiendo con pyarrow y leyendo con fastparquet en el almacenamiento en la nube de Google.

¿Ha sido útil esta solución?