Python pandas Filtrando nan de una selección de datos de una columna de cadenas

2 minutos de lectura

avatar de usuario
ccsv

Sin uso groupby ¿Cómo filtraría los datos sin NaN?

Digamos que tengo una matriz donde los clientes completarán 'N/A','n/a' o alguna de sus variantes y otras déjalo en blanco:

import pandas as pd
import numpy as np


df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],
                  'rating': [3., 4., 5., np.nan, np.nan, np.nan],
                  'name': ['John', np.nan, 'N/A', 'Graham', np.nan, np.nan]})

nbs = df['name'].str.extract('^(N/A|NA|na|n/a)')
nms=df[(df['name'] != nbs) ]

producción:

>>> nms
  movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN

¿Cómo filtraría NaN valores para que pueda obtener resultados con los que trabajar de esta manera:

  movie    name  rating
0   thg    John       3
3   mol  Graham     NaN

Supongo que necesito algo como ~np.isnan pero la tilda no funciona con cuerdas.

  • d.f.[df.name.notnull()]

    – min2bro

    31 de enero a las 6:36

avatar de usuario
EdChum

Solo déjalos:

nms.dropna(thresh=2)

esto eliminará todas las filas donde hay al menos dos no-NaN.

Entonces podrías soltar donde está el nombre NaN:

In [87]:

nms
Out[87]:
  movie    name  rating
0   thg    John       3
1   thg     NaN       4
3   mol  Graham     NaN
4   lob     NaN     NaN
5   lob     NaN     NaN

[5 rows x 3 columns]
In [89]:

nms = nms.dropna(thresh=2)
In [90]:

nms[nms.name.notnull()]
Out[90]:
  movie    name  rating
0   thg    John       3
3   mol  Graham     NaN

[2 rows x 3 columns]

EDITAR

En realidad, mirando lo que originalmente quiere, puede hacer esto sin el dropna llamar:

nms[nms.name.notnull()]

ACTUALIZAR

Mirando esta pregunta 3 años después, hay un error, en primer lugar thresh arg busca al menos n no-NaN valores por lo que, de hecho, la salida debería ser:

In [4]:
nms.dropna(thresh=2)

Out[4]:
  movie    name  rating
0   thg    John     3.0
1   thg     NaN     4.0
3   mol  Graham     NaN

Es posible que me haya equivocado hace 3 años o que la versión de pandas que estaba ejecutando tuviera un error, ambos escenarios son completamente posibles.

avatar de usuario
Gil Baggio

La más simple de todas las soluciones:

filtered_df = df[df['name'].notnull()]

Por lo tanto, filtra solo las filas que no tienen valores de NaN en la columna ‘nombre’.

Para varias columnas:

filtered_df = df[df[['name', 'country', 'region']].notnull().all(1)]

df.dropna(subset=['columnName1', 'columnName2'])

avatar de usuario
Bashar Mahoma

df = pd.DataFrame({'movie': ['thg', 'thg', 'mol', 'mol', 'lob', 'lob'],'rating': [3., 4., 5., np.nan, np.nan, np.nan],'name': ['John','James', np.nan, np.nan, np.nan,np.nan]})

for col in df.columns:
    df = df[~pd.isnull(df[col])]

También puedes usar query:

out = df.query("name.notna() & name !='N/A'", engine="python")

Producción:

  movie  rating    name
0   thg     3.0    John
3   mol     NaN  Graham

avatar de usuario
rachwa

En el interior query() pasar column_name == column_name para mantener las filas donde column_name no es NA.

Para tu caso:

nms.query('name == name')

¿Ha sido útil esta solución?

Esta web utiliza cookies propias y de terceros para su correcto funcionamiento y para fines analíticos y para mostrarte publicidad relacionada con sus preferencias en base a un perfil elaborado a partir de tus hábitos de navegación. Al hacer clic en el botón Aceptar, acepta el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos. Configurar y más información
Privacidad