Salut les kheys
J'ai un projet où il faut qu'on scrape un site
J'aimerais savoir comment mettre à jour notre base de données sans tout rescraper (trop de données), si le site rajoute de nouvelles data

Tu voudrais "écouter" quand le site rajoute des données c'est ça ?
Au lieu de re-scraper tout, puis de comparer quelles données t'as déjà récupérés.

Le 27 décembre 2022 à 21:21:45 :
Tu voudrais "écouter" quand le site rajoute des données c'est ça ?
Au lieu de re-scraper tout, puis de comparer quelles données t'as déjà récupérés.

oui c'est exactement ca, parce qu'il y a déjà plus d'un million de lignes

1106821 records

S'il y a une sitemap sur le site tu peux regarder la date de publication de l'objet (si disponible) et comparer avec ton dernier passage.

Le 27 décembre 2022 à 21:23:55 :
S'il y a une sitemap sur le site tu peux regarder la date de publication de l'objet (si disponible) et comparer avec ton dernier passage.

https://ec.europa.eu/clima/ets/oha.do?form=oha&languageCode=fr&accountHolder=&installationIdentifier=&installationName=&permitIdentifier=&mainActivityType=-1&search=Search&searchType=oha&currentSortSettings=
je dois scraper cette page par exemple

Si tu ne peux pas trier par date d'ajout il faut tout rescraper. Là il y a 874 pages, si tu lances ton scraper une ou deux fois par jour c'est raisonnable

Fait toi un algo qui filtre la data avant d'envoyer en bdd

Web Crawler