BotSeer - BotSeer
BotSeer era un sistema de información y una herramienta de búsqueda basados en la web que se utilizaba para investigar sobre robots web y tendencias en la implementación y el cumplimiento del Protocolo de exclusión de robots . Fue creado y diseñado por Yang Sun, Isaac G. Councill, Ziming Zhuang y C. Lee Giles . BotSeer ahora está inactivo; la URL original era https://web.archive.org/web/20100208214818/http://botseer.ist.psu.edu/
Historia
BotSeer sirvió como un recurso para estudiar la regulación y el comportamiento de los robots web, así como información sobre la creación de archivos robots.txt eficaces e implementaciones de rastreadores. Estaba disponible públicamente en la World Wide Web en la Facultad de Ciencias de la Información y Tecnología de la Universidad Estatal de Pensilvania .
BotSeer proporcionó tres servicios principales, incluida la búsqueda de robots.txt, el análisis de sesgos de robots y el análisis de registros generado por robots. El prototipo de BotSeer también permitió a los usuarios buscar seis mil archivos de documentación y códigos fuente de 18 proyectos de rastreadores de código abierto.
BotSeer había indexado y analizado 2,2 millones de archivos robots.txt obtenidos de 13,2 millones de sitios web, así como un gran registro de servidor web del comportamiento de los robots en el mundo real y análisis relacionados. Los objetivos de BotSeer eran ayudar a los investigadores, webmasters, desarrolladores de rastreadores web y otros con las necesidades de investigación e información relacionadas con los robots web. Sin embargo, algunas personas recibieron BotSeer negativamente, argumentando que contradecía el propósito de la convención de robots.txt.
BotSeer también había configurado un honeypot para probar la ética, el rendimiento y el comportamiento de los rastreadores web .
Referencias
- "Los webmasters pueden dar forma a los resultados de la búsqueda" . Newsvine. Associated Press. 28 de noviembre de 2007 . Consultado el 11 de diciembre de 2011 .
- "Google favorecido por los administradores web" . Mundo de la red. 15 de noviembre de 2007. Archivado desde el original el 18 de diciembre de 2007 . Consultado el 19 de diciembre de 2007 .
Notas
enlaces externos
- "BotSeer: Robots.txt y motor de búsqueda de rastreadores web" . Archivado desde el original el 8 de febrero de 2010 . Consultado el 11 de diciembre de 2011 .