ubiquitour.com

Lista de Bot araña

Motores de búsqueda utilizan programas informáticos para recoger e indexar direcciones web para que los seres humanos pueden encontrar. Estos programas tienen varios nombres, incluyendo rastreadores Web, robots Web, arañas Web o bots de la araña. Sería imposible enumerar cada bot araña sola, pero algunos de los bots más conocidos incluyen Googlebot, Yahoo sorber, Bingbot y Teoma, el bot de araña de Ask.com. Los robots araña también pueden recabar información específica dichos precios en los productos.

Googlebot

Google es uno de los motores de búsqueda más utilizados, especialmente en los Estados Unidos. Googlebot es el nombre del bot araña que Google utiliza su motor de búsqueda, descarga miles de millones de páginas para construir un índice de búsqueda. Buscadores que no sean de Google también están equipados con Googlebot, como AOL Search.

Bingbot

Bingbot es bot de araña de Microsoft. Asumió el control de la araña anterior, MSNbot, con un cambio de nombre para traerlo en línea con la marca de Bing de Microsoft. Bingbot alimenta el motor de búsqueda Bing.

Slurp

Bot de Yahoo spider, Slurp, se basa en tecnología ya existente, adquirida cuando Yahoo compró la empresa de Inktomi ahora-difunto. Software de Inktomi fue incorporado en HotBot y AltaVista, motores de búsqueda una vez popular que finalmente fueron desplazados por el Google más ampliamente adoptado.

Teoma

Aunque su nombre es quizás no tan conocido como algunos otros bots, Teoma poderes uno de los líderes del mercado en el mundo del motor de búsqueda: Ask.com. Antes Ask Jeeves, Ask.com substituido su tecnología existente de robot araña con Teoma en 2006. Teoma también alimenta el motor de búsqueda de Teoma.com.

Especialista en Bots

Especialista spider bots buscan e índice información sobre un tema en particular. El bot de Technorati índices weblogs, por ejemplo. Otro ejemplo de un bot de araña especialista sería un agente de compras o shopbot; tamaños como Bizrate.com y PriceGrabber utilizan éstos para ayudar a los consumidores a buscar precios más bajos en productos.

"Bad robots"

Lo que constituye exactamente un bot araña "malo" es algo subjetivo. Robots araña para correo electrónico de cosecha para los spammers, por ejemplo, generalmente se consideran mal. Robots araña mal escrito que una carga innecesaria a un sitio descargando demasiada información demasiado rápido pueden también categorizar como bots malos. Usted puede bloquear los robots araña de visita y páginas en tu sitio web usando el protocolo "robots.txt"; algunos bots araña se escriben en ignorarlo, ya sea accidental o deliberadamente, y estos también son considerados como robots malos. Estos bots no tienen nombres.