Luwebot – Un robot d’indexation sous node.js

Présentation de Luwebot, un robot d’indexation que j’ai développé pour le « fun« , à l’aide de Node.JS dans le but d’apprendre à utiliser Node.JS.

Cet article est une archive du 13 Novembre 2016 ( En savoir plus ).

Salut à toutes et à tous !

Aujourd’hui, nouvel article sur un petit projet plus « tranquille« .

En effet, le week-end dernier, l’idée m’est venue de réaliser un « bot » ( Aussi appelé « robot » ) qui travaille tout seul.

Et c’est chose faite ! J’ai du coup développé pour le fun un petit script d’indexation utilisant Node.JS.

Pour rappel, j’ai déjà développé quelques projets sous Node.JS :

• https://www.luc-mergault.fr/blog/morp-io/
• https://www.luc-mergault.fr/blog/lulu-io/

Luwebot : Un robot d’indexation, c’est quoi ?

Note : Je ne prends pas le « mérite » d’avoir développé un gros script d’indexation, il aurait pu être poussé beaucoup plus loin dans son développement, mais ce n’était pas le but.

Un robot d’indexation ( Rapidement ) est un script qui va analyser des URL’s pour les indexer et former une énorme base de données à l’aide de tous les liens trouvés.

Schéma rapide d’un robot d’indexation :

Note² : Le but de ce script n’est pas de monter un moteur de recherche ( Utilisant eux aussi des robots d’indexation ), mais simplement de réaliser une base de données qui se remplie automatiquement avec comme base un seul lien.

Et oui, j’ai mis en marche ce robot, à partir d’un seul lien, celui de ce blog.

En une journée de fonctionnement, le script a déjà enregistré plus de 70 000 liens dans sa base de donnée.

Je pense le faire tourner au moins une semaines ou deux pour voir combien de liens seront enregistrés.

Au final, je n’ai pas grand chose de plus à ajouter sur cet article, mis à part que le projet est disponible sur GitHub :

• https://github.com/luluwebmaster/Luwebot/

C’est ici que cet article se termine, article un peu court je suis d’accord, mais qui mérite d’être présent sur ce blog !

N’hésitez pas à partager l’article,

Bonne continuation à tous !