Python Pandas: ¿Se conserva el orden al usar groupby() y agg()?

he frecuentado pandas usados’ agg() función para ejecutar estadísticas de resumen en cada columna de un data.frame. Por ejemplo, así es como produciría la media y la desviación estándar:

df = pd.DataFrame({'A': ['group1', 'group1', 'group2', 'group2', 'group3', 'group3'],
                   'B': [10, 12, 10, 25, 10, 12],
                   'C': [100, 102, 100, 250, 100, 102]})

>>> df
[output]
        A   B    C
0  group1  10  100
1  group1  12  102
2  group2  10  100
3  group2  25  250
4  group3  10  100
5  group3  12  102

En ambos casos, el orden en que las filas individuales se envían a la función agg no importa. Pero considere el siguiente ejemplo, que:

df.groupby('A').agg([np.mean, lambda x: x.iloc[1] ])

[output]

        mean  <lambda>  mean  <lambda>
A                                     
group1  11.0        12   101       102
group2  17.5        25   175       250
group3  11.0        12   101       102

En este caso, la lambda funciona según lo previsto, generando la segunda fila en cada grupo. Sin embargo, no he podido encontrar nada en la documentación de pandas que implique que esto esté garantizado en todos los casos. quiero usar agg() junto con una función de promedio ponderado, por lo que quiero estar seguro de que las filas que entran en la función estarán en el mismo orden en que aparecen en el marco de datos original.

¿Alguien sabe, idealmente a través de algún lugar del código fuente de docs o pandas, si se garantiza que este sea el caso?

Para mantener el orden, deberá pasar .groupby(..., sort=False). En su caso, la columna de agrupación ya está ordenada, por lo que no hace la diferencia, pero generalmente se debe usar el sort=False bandera:

 df.groupby('A', sort=False).agg([np.mean, lambda x: x.iloc[1] ])

Ver esta mejora asunto

La respuesta corta es sí, groupby conservará los pedidos tal como se transmiten. Puede probar esto usando su ejemplo de esta manera:

In [20]: df.sort_index(ascending=False).groupby('A').agg([np.mean, lambda x: x.iloc[1] ])
Out[20]: 
           B             C         
        mean <lambda> mean <lambda>
A                                  
group1  11.0       10  101      100
group2  17.5       10  175      100
group3  11.0       10  101      100

Sin embargo, esto NO es cierto para el remuestreo, ya que requiere un índice monótono (funcionará con un índice no monótono, pero lo ordenará primero).

Su es un sort= flag a groupby, pero esto se relaciona con la clasificación de los grupos en sí y no con las observaciones dentro de un grupo.

Para tu información: df.groupby('A').nth(1) es una forma segura de obtener el segundo valor de un grupo (ya que su método anterior fallará si un grupo tiene

El documento 0.19.1 de Panda dice “groupby conserva el orden de las filas dentro de cada grupo”, por lo que este es un comportamiento garantizado.

http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.groupby.html

Referencia:
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.groupby.html

La API acepta “SORT” como argumento.

La descripción del argumento SORT es así:

sort : bool, claves de grupo True Sort predeterminadas. Obtenga un mejor rendimiento desactivando esto. Tenga en cuenta que esto no influye en el orden de las observaciones dentro de cada grupo. Groupby conserva el orden de las filas dentro de cada grupo.

Por lo tanto, está claro que “Groupby” conserva el orden de las filas dentro de cada grupo.

Desafortunadamente, la respuesta a esta pregunta es no. En los últimos días, creé un algoritmo para la fragmentación no uniforme y descubrí que no es posible mantener el orden porque un groupby introduce subtramas donde la clave de cada trama es la entrada de groupby. Entonces terminas con:

allSubFrames = df.groupby("myColumnToOrderBy")
for orderKey, individualSubFrame in allSubFrames:
     do something...

Debido a que usa diccionarios, pierde el orden.

Si realiza una clasificación después, como se mencionó anteriormente, que acabo de probar para un conjunto de datos masivo, termina con un cálculo O (n log n).

Sin embargo, descubrí que si, por ejemplo, ordenó datos de series temporales en orden, donde desea conservar el orden, es mejor cambiar la columna de ordenación en una lista y luego crear un contador que registre el primer elemento en cada serie temporal. . Esto da como resultado un cálculo de O(n).

Entonces, esencialmente, si está utilizando un conjunto de datos relativamente pequeño, las respuestas propuestas anteriormente son razonables, pero si usa un conjunto de datos grande, debe considerar evitar agrupar y ordenar. En su lugar, use: list(df['myColumnToOrderBy']) e iterador sobre él.

Aún más fácil:

  import pandas as pd
  pd.pivot_table(df,index='A',aggfunc=(np.mean))

producción:

            B    C
     A                
   group1  11.0  101
   group2  17.5  175
   group3  11.0  101