Crawler und ihre Funktion

Crawler sind dafür da, Webseiten zu durchsuchen und zu kopieren, um sie später in dem Suchmaschinenindex schneller finden zu können. Es gibt verschiedene Arten von Crawler, wobei jeder sein eigenes Anwendungsgebiet hat.