Πριν η μηχανή αναζήτησης μπορέσει να σας πει που βρίσκεται το έγγραφο, πρέπει πρώτα να το βρει.
Η εύρεση της πληροφορίας μέσα από εκατοντάδες εκατομμύρια web pages γίνεται με ειδικά αυτοματοποιημένα προγράμματα που ονομάζονται spiders και τα οποία κτίζουν λίστες με λέξεις – κλειδιά που βρίσκουν στις ιστοσελίδες.
Όταν οι spiders κτίζουν τις λίστες με τις λέξεις–κλειδιά, η εργασία αυτή λέγεται crawling(περιήγηση). Για να δημιουργήσουν και διατηρήσουν ένα χρήσιμο κατάλογο με τις λέξεις, οι μηχανές αναζήτησης πρέπει να ελέγχουν πολλές σελίδες. Πως μια spider ξεκινάει το ταξίδι της στο διαδίκτυο?
Συνήθως από πολύ δημοφιλείς ιστοχώρους και servers με μεγάλη κίνηση. Ξεκινώντας από μία πολυσύχναστη ιστοσελίδα, καταγράφει τις λέξεις κλειδιά και ακολουθεί τους συνδέσμους (links) που έχει το site. Με αυτόν τον τρόπο ξεκινάει γρήγορα και διαχέεται στα ευρέως χρησιμοποιούμενα κομμάτια του web.