Mediapartners-Google es el robot perteneciente a
Google que encuentra páginas con adsense. Su objetivo básico es mejorar los anuncios contextuales ofrecidos mediante el programa de anuncios de
Google Adwords. La ip que actualmente me está rastreando es 66.249.65.103. Muy similar a otros
googlebot.
El problema de los robots es su proliferación. Las grandes compañías necesitan casi un robot para cada cosa. Al mismo tiempo el dinero que se gasta en hosting ha bajado notablemente y ha aumentado la mayoría de las características. Aunque esto es una clara mejora, necesitas un buen servidor dedicado para soportar varios robots al mismo tiempo.
Una posible situación fictica, demasiado real para alguno de mis servidores es la conjunción de algún googlebot, el mediapartners y el yahoo slurp. Si a eso le añadimos algún robot navegando en modo stealth, obtenemos una elevada carga en el servidor que se traduce en unos tiempos de respuesta extremadamente altos.
Después de optimizar todas las consultas sql y de intentar bloquear los robots de lamers ( generalmente no cambian el User-Agent de su robot ) todavía se me ralentiza bastante el servidor algunas veces.
Las opciones son claras:
- mejorar el ancho de banda del servidor, la carga que puede soportar el servidor y gastarse más dinero.
- mejorar el sistema antibloqueo de bots perniciosos ( no quiero banear a google bot)
Lo de cambiar a un servidor más potente lo haremos al finalizar el verano. El sistema anti-bots lo acabo de realizar. Es muy simple y también demasiado manual.
Para no cargar demasiado el servidor sólo funciona durante una pequeña parte de las visitas. Graba la ip y el User-Agent en una tabla. Otro script está programado mediante el cron para enviarme un informe periódicamente con las ips que han generado más visitas y consecuentemente más carga en el servidor.
Después de esto tengo que analizar el informe y ver si deniego el acceso a alguna ip mediante el
deny from del .
htaccess.
Parece un proceso no demasiado limpio y sobretodo que me va a generar más trabajo de la cuenta. Por eso la opción de cambio de servidor es la que más me gusta.