Tractor

Un rastreador es un programa que visita sitios web y lee sus páginas y otra información con el fin de crear entradas para un índice de motor de búsqueda. Todos los principales motores de búsqueda de la Web tienen un programa de este tipo, que también se conoce como "araña" o "bot". Los rastreadores suelen estar programados para visitar sitios que sus propietarios han enviado como nuevos o actualizados. Se pueden visitar e indexar de forma selectiva sitios completos o páginas específicas. Los rastreadores aparentemente obtuvieron el nombre porque se arrastran a través de un sitio una página a la vez, siguiendo los enlaces a otras páginas del sitio hasta que se hayan leído todas las páginas.

El rastreador del motor de búsqueda de AltaVista y su sitio web se llama Scooter. Scooter se adhiere a las reglas de cortesía para los rastreadores web que se especifican en el Estándar para la exclusión de robots (SRE). Pregunta a cada servidor qué archivos deben excluirse de la indexación. No pasa (o no puede) atravesar cortafuegos. Y utiliza un algoritmo especial para esperar entre solicitudes sucesivas del servidor para que no afecte el tiempo de respuesta de otros usuarios.