Apple confirma su propio web crawler: Applebot

Hace poco te explicaba como usar el archivo robots.txt de tu página web, este archivo sirve para decirle a los robots (web crawlers) como leer tu página. Recientemente Apple saco su propio robot para analizar páginas web.

Después de mucha especulación por fin tenemos un Web Crawler de Apple. El 5 de mayo Apple publicó un documento de ayuda confirmando la existencia del Applebot.

Apple dice que este robot es “usado por productos como Siri y sugerencias de Spotlight”.

Apple dice que el robot respetará las reglas usuales del robots.txt. Actualmente se origina desde la dirección IP 17.0.0.0. Si no mencionas el Applebot en tus directivas de robots.txt, Apple seguirá lo que digas para el Googlebot. Así que si quieres bloquear el Googlebot y el Applebot, puedes solamente bloquear el Googlebot, pero te recomiendo que los bloquees a los dos por separado.

Si notas actividad inusual, puedes enviarle un correo a Apple para avisarle a Apple-NOC @ apple.com.

En el pasado, Apple se ha aliado con empresas como Google o Bing para dar resultados de búsqueda en algunos de sus productos, pero las noticias de la semana pasada pueden ser un indicio de que Apple quiere introducir su propia plataforma de búsqueda en el futuro. Más recientemente, por ahí de Febrero, una oferta de trabajo le hecho más leña al rumor de que en Cupertino quiere hacer justamente eso, aunque después se dijo que solo querían optimizar spotlight y nunca se confirmo.

Lo que ahora conocemos como Applebot fue descubierto en Noviembre por el desarrollador Jan Moesen, quien encontró numerosas visitas de un robot desde la IP 17.0.0.0/8, una dirección propiedad de Apple. Esto aunado a la terminación del contrato entre Apple y Google para un motor de búsqueda para Safari comenzó los rumores de que Apple quería tener su propio motor.

La confirmación del Applebot es lo más cerca que ha estado la compañía de hablar abiertamente del tema, pero todavía no está claro si este robot será el comienzo de un motor de búsqueda propio o simplemente es una herramienta para apoyar servicios que ya están en el mercado.

Fuente: MacRumors & Search Engine Land