¿Cómo puedo obtener estadísticas descriptivas de una matriz NumPy?

Uso el siguiente código para crear un numpy-ndarray. El archivo tiene 9 columnas. Escribo explícitamente cada columna:

dataset = np.genfromtxt("data.csv", delimiter=",",dtype=('|S1', float, float,float,float,float,float,float,int))

Ahora me gustaría obtener algunas estadísticas descriptivas para cada columna (min, max, stdev, mean, mediana, etc.). ¿No debería haber una manera fácil de hacer esto?

Intenté esto:

from scipy import stats
stats.describe(dataset)

pero esto devuelve un error: TypeError: cannot perform reduce with flexible type

¿Cómo puedo obtener estadísticas descriptivas de la matriz NumPy creada?

import pandas as pd
import numpy as np

df_describe = pd.DataFrame(dataset)
df_describe.describe()

tenga en cuenta que el conjunto de datos es su np.array para describir.

import pandas as pd
import numpy as np

df_describe = pd.DataFrame('your np.array')
df_describe.describe()

Esta no es una solución bonita, pero hace el trabajo. El problema es que al especificar múltiples tipos de d, esencialmente está creando una matriz 1D de tuplas (en realidad np.void), que no puede ser descrito por las estadísticas ya que incluye múltiples tipos diferentes, incl. instrumentos de cuerda.

Esto podría resolverse leyéndolo en dos rondas o usando pandas con read_csv.

Si decides quedarte numpy:

import numpy as np
a = np.genfromtxt('sample.txt', delimiter=",",unpack=True,usecols=range(1,9))
s = np.genfromtxt('sample.txt', delimiter=",",unpack=True,usecols=0,dtype="|S1")

from scipy import stats
for arr in a: #do not need the loop at this point, but looks prettier
    print(stats.describe(arr))
#Output per print:
DescribeResult(nobs=6, minmax=(0.34999999999999998, 0.70999999999999996), mean=0.54500000000000004, variance=0.016599999999999997, skewness=-0.3049304880932534, kurtosis=-0.9943046886340534)

Tenga en cuenta que en este ejemplo la matriz final tiene dtype como floatno intpero se puede convertir fácilmente (si es necesario) a int usando arr.astype(int)

La cuestión de cómo tratar con datos mixtos de genfromtxt aparece a menudo. Las personas esperan una matriz 2d y, en cambio, obtienen una 1d que no pueden indexar por columna. Eso es porque obtienen una matriz estructurada, con un tipo diferente para cada columna.

Todos los ejemplos en el genfromtxt doc muestra esto:

>>> s = StringIO("1,1.3,abcde")
>>> data = np.genfromtxt(s, dtype=[('myint','i8'),('myfloat','f8'),
... ('mystring','S5')], delimiter=",")
>>> data
array((1, 1.3, 'abcde'),
      dtype=[('myint', '<i8'), ('myfloat', '<f8'), ('mystring', '|S5')])

Pero déjame demostrarte cómo acceder a este tipo de datos.

In [361]: txt=b"""A, 1,2,3
     ...: B,4,5,6
     ...: """
In [362]: data=np.genfromtxt(txt.splitlines(),delimiter=",",dtype=('S1,int,float,int'))
In [363]: data
Out[363]: 
array([(b'A', 1, 2.0, 3), (b'B', 4, 5.0, 6)], 
      dtype=[('f0', 'S1'), ('f1', '<i4'), ('f2', '<f8'), ('f3', '<i4')])

Entonces, mi matriz tiene 2 registros (verifique la forma), que se muestran como tuplas en una lista.

accedes fields por nombre, no por número de columna (¿necesito agregar un enlace de documentación de matriz estructurada?)

In [364]: data['f0']
Out[364]: 
array([b'A', b'B'], 
      dtype="|S1")
In [365]: data['f1']
Out[365]: array([1, 4])

En un caso como este podría ser más útil si elijo un dtype con ‘subconjuntos’. Este es un tema de dtype más avanzado

In [367]: data=np.genfromtxt(txt.splitlines(),delimiter=",",dtype=('S1,(3)float'))
In [368]: data
Out[368]: 
array([(b'A', [1.0, 2.0, 3.0]), (b'B', [4.0, 5.0, 6.0])], 
      dtype=[('f0', 'S1'), ('f1', '<f8', (3,))])
In [369]: data['f1']
Out[369]: 
array([[ 1.,  2.,  3.],
       [ 4.,  5.,  6.]])

La columna de caracteres todavía se carga como S1, pero los números ahora están en una matriz de 3 columnas. Tenga en cuenta que todos son flotantes (o int).

In [371]: from scipy import stats
In [372]: stats.describe(data['f1'])
Out[372]: DescribeResult(nobs=2, 
   minmax=(array([ 1.,  2.,  3.]), array([ 4.,  5.,  6.])),
   mean=array([ 2.5,  3.5,  4.5]), 
   variance=array([ 4.5,  4.5,  4.5]), 
   skewness=array([ 0.,  0.,  0.]), 
   kurtosis=array([-2., -2., -2.]))

Documentación oficial de Scipy Ejemplo

#INPUT
from scipy import stats
a = np.arange(10)
stats.describe(a)

#OUTPUT
DescribeResult(nobs=10, minmax=(0, 9), mean=4.5, variance=9.166666666666666,
               skewness=0.0, kurtosis=-1.2242424242424244)

#INPUT
b = [[1, 2], [3, 4]]
stats.describe(b)

#OUTPUT
DescribeResult(nobs=2, minmax=(array([1, 2]), array([3, 4])),
               mean=array([2., 3.]), variance=array([2., 2.]),
               skewness=array([0., 0.]), kurtosis=array([-2., -2.]))