Voilà, j'aimerais trouvé un bot d'indexation qui puisse être stocké sur un serveur distant (sur un hebergeur gratuit par exemple).
Enfaite pour expliquer mon idée jusqu'au bout, j'aimerais faire un "mini" moteur de recherche qui puisse indexer des pages précises.
En bref: Des utilisateurs proposent des pages à indexer, je valide MOI-MÊME (et non pas le bot) ces pages, et si je les valide, bah mon bot se chargera alors d'allez récuperer les pages en questions ainsi que certaines pages liés (selon des critères que j'ai déjà en tête...), et ensuite il inclut tout ça dans mon moteur de recherche...
Enfin, j'ai une idée précise derrière la tête, et j'aurais besoin d'un bot d'indexation OpenSource que je puisse faire fonctionner sur le serveur d'un hébergeur... (vue que chaque indexation de base sera soumis à ma validation, sa ne sera pas trop lourd à gérer pour un ptit hébergeur je pense...)
