Crawler

Crawler (auch: Spider oder Robots) sind Teile einer Suchmaschine. Crawler / Spider durchsuchen eigenständig das Internet nach neuen Websites bzw. neuen Inhalten auf den Websites und laden diese in den Index der Suchmaschine.

Nur Webseiten, die von Crawlern gefunden und gelesen werden können, haben eine Chance, auf den Suchergebnisseiten der Suchmaschinen zu erscheinen.