Spider – Suchmaschinen kommen zu Besuch :)

Um Webseiten oder Bereiche des Internets analysieren zu können, werden sogenannte Spider eingesetzt. Andere Begriffe hierfür sind Searchbot oder Webcrawler. Spider arbeiten autonom im Hintergrund. Sie sind ein wichtiges Tool der Suchmaschinen, um schnell und einfach die passenden Inhalte zu finden. Die ersten Webcrawler hat es bereits Anfang der 90er Jahre des 20. Jahrhunderts gegeben. Generell gibt es mehrere Spider Arten. Thematische Spider (focused Spider) werden von den Suchmaschinen sehr häufig eingesetzt. Sogenannte Harvester (Erntemaschinen) suchen hingegen gezielt nach E-Mail Adressen. Standardisierte Tools haben oftmals das Problem, dass sie viele Inhalte und Webseiten nicht erfassen können und damit verbunden keinen kompletten Überblick darlegen können.

Kommentare sind geschlossen