Eines der wichtigsten Programme einer Suchmaschine ist der sogenannte Crawler. Der Crawler durchsucht das Internet nach neuen Websites und Änderungen auf bereits katalogisierten und indexierten Seiten. Er crawlt eine Internetseite, um deren Relevanz einzuschätzen. Die Ergebnisse der Arbeit des Crawlers werden auf den SERPs, den Suchergebnisseiten präsentiert. Andere Namen für einen Crawler sind „Spider“ oder „Bot“.