{ "id": 214872, "title": "Consejos para evitar quedar sin memoria ", "url": "/competitions/interbank20/discussion/214872", "author_name": "", "post_date": "2021-01-27T23:57:12.806923900Z", "votes": 1, "comment_count": 4, "views": 0, "content": "

Hola a Todos!
\n¿Algún consejo para poder correr en Kaggle evitando que se consuma toda la memoria?
\nHe hecho cambios y dividido el script pero sigo obteniendo el mensaje:

\n

*Your notebook tried to allocate more memory that is available. It has restarted. *

\n

Me ha sucedido en distintos puntos del script, por lo que no logro detectar si es cuestión de el script en sí o algo que hago mal.

\n

Gracias de antemano.

", "messages": [ { "id": "1173528", "postDate": "01/27/2021 23:57:12", "content": "

Hola a Todos!
\n¿Algún consejo para poder correr en Kaggle evitando que se consuma toda la memoria?
\nHe hecho cambios y dividido el script pero sigo obteniendo el mensaje:

\n

*Your notebook tried to allocate more memory that is available. It has restarted. *

\n

Me ha sucedido en distintos puntos del script, por lo que no logro detectar si es cuestión de el script en sí o algo que hago mal.

\n

Gracias de antemano.

", "rawMarkdown": "Hola a Todos!\n¿Algún consejo para poder correr en Kaggle evitando que se consuma toda la memoria?\nHe hecho cambios y dividido el script pero sigo obteniendo el mensaje: \n\n*Your notebook tried to allocate more memory that is available. It has restarted. *\n\nMe ha sucedido en distintos puntos del script, por lo que no logro detectar si es cuestión de el script en sí o algo que hago mal. \n\nGracias de antemano.", "votes": null }, { "id": "1173622", "postDate": "01/28/2021 02:34:57", "content": "

El compañero @josechipanatica posteo una función en otra discusión, la modifique un poquito para que se me haga mas fácil de usar:

\n
def optimize_floats(df):\n    floats = df.select_dtypes(include=['float64']).columns.tolist()\n    df[floats] = df[floats].apply(pd.to_numeric, downcast='float')\n    return df\n\ndef optimize_ints(df):\n    ints = df.select_dtypes(include=['int64']).columns.tolist()\n    df[ints] = df[ints].apply(pd.to_numeric, downcast='integer')\n    return df\n\ndef optimize_df(df):\n    df = optimize_floats(df)\n    df = optimize_ints(df)\n    return df\n
\n

Uso:

\n

train = optimize_df(train)

\n

Si lo haces cada vez que cargas un dataframe o al terminar cálculos pesados mejorara tu uso de memoria

", "rawMarkdown": "El compañero @josechipanatica posteo una función en otra discusión, la modifique un poquito para que se me haga mas fácil de usar:\n\n```\ndef optimize_floats(df):\n floats = df.select_dtypes(include=['float64']).columns.tolist()\n df[floats] = df[floats].apply(pd.to_numeric, downcast='float')\n return df\n\ndef optimize_ints(df):\n ints = df.select_dtypes(include=['int64']).columns.tolist()\n df[ints] = df[ints].apply(pd.to_numeric, downcast='integer')\n return df\n\ndef optimize_df(df):\n df = optimize_floats(df)\n df = optimize_ints(df)\n return df\n```\nUso:\n\n`train = optimize_df(train)`\n\nSi lo haces cada vez que cargas un dataframe o al terminar cálculos pesados mejorara tu uso de memoria", "votes": null }, { "id": "1174568", "postDate": "01/28/2021 15:28:34", "content": "

Hola @oscargarciaf, si ayer luego vi esta respuesta en otro post y la verdad que me ayudo. Aun así no soluciona al 100%, puede que se deba a inexperiencia para correr de la manera más optima posible.

\n

Gracias a ambos!!
\n@josechipanatica.

", "rawMarkdown": "Hola @oscargarciaf, si ayer luego vi esta respuesta en otro post y la verdad que me ayudo. Aun así no soluciona al 100%, puede que se deba a inexperiencia para correr de la manera más optima posible. \n\nGracias a ambos!!\n@josechipanatica.", "votes": null }, { "id": "1174746", "postDate": "01/28/2021 17:13:44", "content": "

Te recomiendo que cuando ya estés lista para correr el modelo elimines los dataframes como del RCC del train y test dado que ya no lo vas a utilizar.

\n

del data_rcc_train, data_rcc_test

\n

Espero te ayude,
\nSaludos.

", "rawMarkdown": "Te recomiendo que cuando ya estés lista para correr el modelo elimines los dataframes como del RCC del train y test dado que ya no lo vas a utilizar.\n\ndel data_rcc_train, data_rcc_test\n\nEspero te ayude,\nSaludos.", "votes": null }, { "id": "1175173", "postDate": "01/29/2021 01:28:56", "content": "

Si me ha ayudado, pero al avanzar con la construcción de variables sigo quedando sin memoria para procesar.
\nIgualmente muchas gracias!

", "rawMarkdown": "Si me ha ayudado, pero al avanzar con la construcción de variables sigo quedando sin memoria para procesar. \nIgualmente muchas gracias!", "votes": null } ], "comments": [ { "id": 1173622, "author_name": "oscargarciaf", "author_url": "", "post_date": "01/28/2021 02:34:57", "content": "

El compañero @josechipanatica posteo una función en otra discusión, la modifique un poquito para que se me haga mas fácil de usar:

\n
def optimize_floats(df):\n    floats = df.select_dtypes(include=['float64']).columns.tolist()\n    df[floats] = df[floats].apply(pd.to_numeric, downcast='float')\n    return df\n\ndef optimize_ints(df):\n    ints = df.select_dtypes(include=['int64']).columns.tolist()\n    df[ints] = df[ints].apply(pd.to_numeric, downcast='integer')\n    return df\n\ndef optimize_df(df):\n    df = optimize_floats(df)\n    df = optimize_ints(df)\n    return df\n
\n

Uso:

\n

train = optimize_df(train)

\n

Si lo haces cada vez que cargas un dataframe o al terminar cálculos pesados mejorara tu uso de memoria

", "votes": null, "replies": [] }, { "id": 1174568, "author_name": "vanessagaudino", "author_url": "", "post_date": "01/28/2021 15:28:34", "content": "

Hola @oscargarciaf, si ayer luego vi esta respuesta en otro post y la verdad que me ayudo. Aun así no soluciona al 100%, puede que se deba a inexperiencia para correr de la manera más optima posible.

\n

Gracias a ambos!!
\n@josechipanatica.

", "votes": null, "replies": [] }, { "id": 1174746, "author_name": "josechipanatica", "author_url": "", "post_date": "01/28/2021 17:13:44", "content": "

Te recomiendo que cuando ya estés lista para correr el modelo elimines los dataframes como del RCC del train y test dado que ya no lo vas a utilizar.

\n

del data_rcc_train, data_rcc_test

\n

Espero te ayude,
\nSaludos.

", "votes": null, "replies": [ { "id": 1175173, "author_name": "vanessagaudino", "author_url": "", "post_date": "01/29/2021 01:28:56", "content": "

Si me ha ayudado, pero al avanzar con la construcción de variables sigo quedando sin memoria para procesar.
\nIgualmente muchas gracias!

", "votes": null, "replies": [] } ] } ], "raw_markdown_by_id": { "1173528": "Hola a Todos!\n¿Algún consejo para poder correr en Kaggle evitando que se consuma toda la memoria?\nHe hecho cambios y dividido el script pero sigo obteniendo el mensaje: \n\n*Your notebook tried to allocate more memory that is available. It has restarted. *\n\nMe ha sucedido en distintos puntos del script, por lo que no logro detectar si es cuestión de el script en sí o algo que hago mal. \n\nGracias de antemano.", "1173622": "El compañero @josechipanatica posteo una función en otra discusión, la modifique un poquito para que se me haga mas fácil de usar:\n\n```\ndef optimize_floats(df):\n floats = df.select_dtypes(include=['float64']).columns.tolist()\n df[floats] = df[floats].apply(pd.to_numeric, downcast='float')\n return df\n\ndef optimize_ints(df):\n ints = df.select_dtypes(include=['int64']).columns.tolist()\n df[ints] = df[ints].apply(pd.to_numeric, downcast='integer')\n return df\n\ndef optimize_df(df):\n df = optimize_floats(df)\n df = optimize_ints(df)\n return df\n```\nUso:\n\n`train = optimize_df(train)`\n\nSi lo haces cada vez que cargas un dataframe o al terminar cálculos pesados mejorara tu uso de memoria", "1174568": "Hola @oscargarciaf, si ayer luego vi esta respuesta en otro post y la verdad que me ayudo. Aun así no soluciona al 100%, puede que se deba a inexperiencia para correr de la manera más optima posible. \n\nGracias a ambos!!\n@josechipanatica.", "1174746": "Te recomiendo que cuando ya estés lista para correr el modelo elimines los dataframes como del RCC del train y test dado que ya no lo vas a utilizar.\n\ndel data_rcc_train, data_rcc_test\n\nEspero te ayude,\nSaludos.", "1175173": "Si me ha ayudado, pero al avanzar con la construcción de variables sigo quedando sin memoria para procesar. \nIgualmente muchas gracias!" }, "source": "meta" }