Salut a vous,

J'ai une panda dataframe qui est relativement grosse. Et dans le cadre d'une analyse, j'ai besoin que d'une partie de la data frame. Donc j'ai un truc du genre.

local_df = df["a = 12"]

Et cette local_df est monstrueusement plus petite que df (c'est en gros 1% de df). Et je vais faire une tonne de requetes differentes sur local_df pour faire les calcul que j'ai besoin de faire.

J'ai l'impression que pandas.dataframe ne materialize pas en memoire local_df. local_df a l'air d'etre juste une reference a df avec l'information qu'il ne faut garder que les "a=12". Donc quand je fais l'analyse qui suit, je me retrouve a quand meme iterer sur df entier. Donc je passe 99% du temps de l'application a iterer sur des lignes de la dataframe dont j'ai pas besoin.

Je n'ai pas trouve dans la documentation de panda.dataframe comment faire ca (Parceque les doc python sont naze en general; en particulier il y a un .copy() qui ne fait pas ce que je veux). J'ai pas trouve sur le web non plus.

Quelqu'un sait comment faire ca ?

En passant, j'ai plein de colone que je peux ignore aussi.

Tchuss!

Je connais pas cette librairie en particulier, mais un solution un peu sale c'est de sérialiser puis de désérialiser les données que tu veux récupérer. Ainsi t'es certain que le résultat n'est pas une obscure référence à ta dataframe de départ.

@elalilalolulu,
ouais, c'est la seule solution que j'ai trouve. Mais c'est relativement moche. En particulier une des colonnes de la dataframe est une reference a un variable python-MIP qui ne serialize pas bien vers un fichier.
Je pense qu'on va pouvoir generer un dict a partir de la dataframe et reimporter le dict. Mais c'est clairement un overhead que j'aurais prefere ne pas payer...

Peut etre que quelqu'un d'autre sauras faire ca...