Salut, pour un projet j'ai besoin faire de récolter des tweets, environ 500 tweets chaque jours sur une période de 10 ans sur 500 recherches (ça fait beaucoup oui), je suis en python et pour l'instant j'utilise GetOldTweets3 pour les récupérer mais ça prend un temps de dingue, pour une seule recherche (sur ~500 donc) il me faudrait environ une semaine pour tout obtenir, auriez vous une méthode pour accélérer le processus ?

En gros voilà ce que je fais pour l'instant :
J'ai une table contenant toutes les dates, qui représentent environ 10 ans, le critère de recherche et je boucle, pour chaque jour, une requête via la librairie pour récupérer les tweets puis je les stock.

Il y a twint codé en Python qui est vraiment bien. Tu peux l'utiliser en ligne de commande. J'imagine qu'un script Bash peut résoudre ton problème.

Tu peux faire des recherches via des mots-clés, dates, pseudos, etc... Super outils.

https://github.com/twintproject/twint

Pour l'installer :

pip install twint

Le 09 juillet 2020 à 19:51:41 Azerban a écrit :
Il y a twint codé en Python qui est vraiment bien. Tu peux l'utiliser en ligne de commande. J'imagine qu'un script Bash peut résoudre ton problème.

Tu peux faire des recherches via des mots-clés, dates, pseudos, etc... Super outils.

https://github.com/twintproject/twint

Pour l'installer :

pip install twint

ah nickel ouais merci ! mais côté vitesse il est rapide ?

Le 09 juillet 2020 à 19:55:03 MonsieurBeauf a écrit :

Le 09 juillet 2020 à 19:51:41 Azerban a écrit :
Il y a twint codé en Python qui est vraiment bien. Tu peux l'utiliser en ligne de commande. J'imagine qu'un script Bash peut résoudre ton problème.

Tu peux faire des recherches via des mots-clés, dates, pseudos, etc... Super outils.

https://github.com/twintproject/twint

Pour l'installer :

pip install twint

ah nickel ouais merci ! mais côté vitesse il est rapide ?

C'est pas le plus rapide, mais le problème c'est qu'avec l'API twitter t'es limité en scrapping. Là le parsing est "manuel" donc illimité. Mais si tu as plusieurs recherches, tu peux les lancer en parallèle. https://openclassrooms.com/fr/courses/235344-apprenez-a-programmer-en-python/2235545-faites-de-la-programmation-parallele-avec-threading