Crawler sind ein wichtiges Werkzeug für jede Suchmaschine. Man nennt sie auch Robots oder Spider. Alle drei Begriffe bezeichnen ein Programm, das automatisiert das Internet durchforstet, dabei die Webpräsenzen die es findet möglichst vollständig erfasst und indexiert sowie dort gefundenen Links zu weiteren Websites folgt.

Aus den dabei gespeicherten Inhalten und den vorgefundenen Links wird die Relevanz jeder Website ermittelt. Die gespeicherten Seiteninhalte werden aufbereitet und in den Index der Suchmaschine übernommen, so dass anhand eines Suchbegriffes eine nach Relevanz sortierte Liste von Suchergebnissen angezeigt werden kann.

Der Crawler besucht bekannte Seiten zur Aktualisierung in regelmäßigen Abständen erneut. Über Mechanismen wie die Datei robots.txt lässt sich vom Websitebetreiber festlegen, was der Crawler erfassen darf und was nicht.