Bonjour,

Je suis le créateur d'un Forumjv : https://www.forumjv.com/forums/0-2000034-0-1-0-1-0-glu.htm

Qui sera amené à disparaître en Janvier 2018 suite à une décision de Webedia.

En conséquent, j'aimerais récupérer l'intégralité des messages de mon forum dans l'optique éventuelle de déménager par la suite sur une autre plateforme.

Je cherche donc un moyen d'extraire les messages du forum et de les stocker à un endroit, quel que soit le format de sortie (fichier csv, base de données MySQL...).

Le nombre de messages est estimé à 400 000. L'idée serait d'avoir une base qui ressemblerait à ça :

id_message | id_auteur | id_topic | date | contenu

Sachant programmer en R, Python, SQL et disposant de connaissances superficielles dans d'autres langages (C,C++, Java, HTML, PHP) je cherche une personne qui serait en mesure :

Soit de m'aider à scraper le forum en R ou Python, et m'orienter vers un choix pertinent sur le format de stockage de ces données textuelles.
Soit de faire ce travail à ma place, en échange d'une rémunération qu'on définira ensemble.

Ma boîte MP est ouverte. Merci à ceux qui pourraient nous venir en aide.

D'ailleurs, si ça peut aider, y a une limite au nombre de requêtes que tu peux faire sur JVC sans être considéré comme du DDOS. 3 requêtes / seconde de mémoire. Si t'enchaines les 3r/s, tu passes à 1r/s, etc.

C'est assez facile à faire

Une bdd mysql relationnel :

• topics
• Posts
• pseudos

Tu boucles sur toutes les pages du forum, une page = 26 topics

=>>> tu boucles sur tout les topic de la page, l'id du topic est dans l'URL du topic, tu prend le même

=>>>>>> tu boucle sur toutes les pages du topic et sauvegardes tout les posts en prennant leur ID qui est dans l'html

Pour 400'000 messages ça devrait aller assez vite

En fait c'est la partie extraction des données à partir d'une page d'un topic où j'avais galéré, j'arrivais pas a trouver facilement les messages, pseudos et dates dans le code source html de la page.

Mais j'avais fait ça en 5mn sur R à une époque où c'était pas aussi urgent et prioritaire, je vais essayer de m'y replonger

D'ailleurs j'ai une autre question du même genre mais je la posterai plus tard sur ce topic car j'ai pas le temps là

merci pour les infos, 3 requêtes/s ça me suffit largement

Bon j'ai trouvé quelqu'un qui va faire tourner un script pour récupérer les données dans un format minimaliste.

Au-delà de ça, j'ai une deuxième requête qui consisterait cette fois-ci à récupérer les pages telles qu'elles sont actuellement, pour pouvoir consulter le forum en local après sa suppression. Est-ce que ma demande est claire et est-ce que vous pensez que c'est envisageable, si oui de quelle manière ?

En gros il faudrait aspirer l'ensemble des pages du forum pour en faire une version locale, avec les liens entre les pages qui seraient fonctionnels (genre si je clique sur un topic puis que je clique sur la page 2, il m'affiche la page 2). Vous allez me dire que ça serait très gourmand en mémoire, mais je suppose que les fichiers volumineux (images, arrières-plans) sont redondants et il n'y a donc pas besoin de les stocker autant de fois qu'il y a de pages à aspirer.

La 2ème possibilité, ce serait de se servir des données que j'ai récupérées pour redéployer le forum, toujours de manière locale, à partir du "squelette html" de l'interface de jvc. Comme si on voulait faire un jvc-like avec tout l'historique de mon forum quoi. Je suis ouvert à vos propositions

Le 02 décembre 2017 à 14:39:56 Glutamate a écrit :
En gros il faudrait aspirer l'ensemble des pages du forum pour en faire une version locale, avec les liens entre les pages qui seraient fonctionnels (genre si je clique sur un topic puis que je clique sur la page 2, il m'affiche la page 2). Vous allez me dire que ça serait très gourmand en mémoire, mais je suppose que les fichiers volumineux (images, arrières-plans) sont redondants et il n'y a donc pas besoin de les stocker autant de fois qu'il y a de pages à aspirer.

La 2ème possibilité, ce serait de se servir des données que j'ai récupérées pour redéployer le forum, toujours de manière locale, à partir du "squelette html" de l'interface de jvc. Comme si on voulait faire un jvc-like avec tout l'historique de mon forum quoi. Je suis ouvert à vos propositions

Tu peux utiliser un aspirateur de site genre celui là : http://www.httrack.com/
Mais ta 2e solution en utilisant les données récupérées serait plus propre