| Qu'est-ce qu'un crawler ? |
 |
 |
 |
|
Les crawlers ont pour mission d'assister l'internaute. Chaque moteur de recherche en texte intégral possède son propre crawler. Ce dernier "crawle" ou littéralement "rampe" à la recherche de documents sur le web. C'est un robot qui parcoure l'ensemble du web 24h/24 à la recherche des nouveaux documents et réalise des copies de ces documents dans une base de données. Ensuite, un retournement d'index est effectué : d'une base de données structurée autour des documents, on passe à une base de données structurée autour des mots-clés. C'est ce qui permet à l'internaute de réaliser des recherches par mot-clé. |