Cómo llenar los valores Nan del marco de datos con una lista vacía [] en pandas?

Question 1

Este es mi marco de datos:

          date                          ids
0     2011-04-23  [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13,...
1     2011-04-24  [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13,...
2     2011-04-25  [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13,...
3     2011-04-26  Nan
4     2011-04-27  [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13,...
5     2011-04-28  [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13,...

quiero reemplazar Nan con []. ¿Como hacer eso? relleno([]) no funcionó. incluso lo intenté replace(np.nan, []) pero da error:

 TypeError('Invalid "to_replace" type: \'float\'',)

Question 2

Mi enfoque es similar al de @hellpanderrr, pero en su lugar prueba la lista en lugar de usar isnan:

df['ids'] = df['ids'].apply(lambda d: d if isinstance(d, list) else [])

Originalmente intenté usar pd.isnull (o pd.notnull) pero, cuando se le da una lista, devuelve la nulidad de cada elemento.

Question 3

Después de mucho rascarme la cabeza, encontré este método que debería ser el más eficiente (sin bucles, sin aplicar), solo asignándolo a una porción:

isnull = df.ids.isnull()

df.loc[isnull, 'ids'] = [ [[]] * isnull.sum() ]

El truco estaba en construir tu lista de [] del tamaño adecuado (isnull.sum()), y después enciérralo en una lista: el valor que estás asignando es un 2D matriz (1 columna, isnull.sum() filas) que contienen listas vacías como elementos.

Question 4

Una solución sencilla sería:

df['ids'].fillna("").apply(list)

Como señaló @timgeb, esto requiere df['ids'] para contener listas o nan solamente.

Question 5

Primero puedes usar loc para localizar todas las filas que tienen un nan en el ids columna, y luego recorra estas filas usando at para establecer sus valores en una lista vacía:

for row in df.loc[df.ids.isnull(), 'ids'].index:
    df.at[row, 'ids'] = []

>>> df
        date                                             ids
0 2011-04-23  [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13]
1 2011-04-24  [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13]
2 2011-04-25  [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13]
3 2011-04-26                                              []
4 2011-04-27  [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13]
5 2011-04-28  [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13]

Question 6

Sorprendentemente, pasar un dict con listas vacías como valores parece funcionar para Series.fillnapero no DataFrame.fillna – entonces, si desea trabajar en una sola columna, puede usar esto:

>>> df
     A    B    C
0  0.0  2.0  NaN
1  NaN  NaN  5.0
2  NaN  7.0  NaN
>>> df['C'].fillna({i: [] for i in df.index})
0    []
1     5
2    []
Name: C, dtype: object

La solución se puede extender a DataFrames aplicándola a cada columna.

>>> df.apply(lambda s: s.fillna({i: [] for i in df.index}))
    A   B   C
0   0   2  []
1  []  []   5
2  []   7  []

Nota: para Series/DataFrames grandes con pocos valores faltantes, esto podría crear una cantidad irrazonable de listas vacías desechables.

Probado con pandas 1.0.5.

Question 7

Otra solución usando numpy:

df.ids = np.where(df.ids.isnull(), pd.Series([[]]*len(df)), df.ids)

O usando combine_first:

df.ids = df.ids.combine_first(pd.Series([[]]*len(df)))

Question 8

Sin asignaciones:

1) Suponiendo que solo tenemos números flotantes y enteros en nuestro marco de datos

import math
df.apply(lambda x:x.apply(lambda x:[] if math.isnan(x) else x))

2) Para cualquier marco de datos

import math
def isnan(x):
    if isinstance(x, (int, long, float, complex)) and math.isnan(x):
        return True

df.apply(lambda x:x.apply(lambda x:[] if isnan(x) else x))

¿Ha sido útil esta solución?