Historia de los buscadores web

Cuando una empresa se enfrenta al reto de construir una página web, para promocionar su producto/servicio, debe perseguir, entre otros muchos objetivos, que aparezca bien posicionada en los buscadores web como resultado a una búsqueda de un usuario por términos relacionados con su producto/servicio.

El posicionamiento es una técnica y a la vez un arte que desde cualquier departamento de marketing se debe saber dominar. De nada servirá tener un producto de calidad, un precio competitivo e incluso una web atractiva, si después de todo el usuario no la localiza en el entramado que conforma Internet.

A la hora de una búsqueda realizada en Google (entre otras herramientas de búsqueda) aquellos resultados que no aparecen indexados en las primeras posiciones es como si no existieran. A estas alturas está claro que el marketing tradicional ha sido complementado por el marketing digital. Hecho que ha supuesto que tanto los departamentos de marketing, los directivos de las empresas y los desarrolladores web, deben conocer las habilidades y herramientas que esta nueva rama nos ofrece.

1. Para ello se ha desarrollado el presente libro, en el cual se estudiará la optimización en buscadores, consistente en prácticas orientadas a la mejora de la posición en que un buscador ofrece una web, dentro de los resultados naturales de búsqueda (SEO).
2. Pero también en actividades como el Search Engine Marketing (SEM) para las empresas que pagan para aparecer posicionadas mediante enlaces patrocinados por delante de sus competidores por palabras clave.

En los comienzos de la Red hacer una búsqueda no era una tarea fácil. Los navegadores como se conocen ahora no existían, y lo más parecido eran los índices o directorios. Desde ahí empezó un proceso que intentaba facilitar al usuario encontrar la información deseada de forma rápida y sencilla.

1. En 1993 se desarrolla Wandex, un robot que pretendía medir el tamaño de la red y que finalmente también leía Url, es considerado el primer buscador de internet.
2. En 1994 se presentó WebCrawler que indexaba las páginas web completas y buscaba información en ellas (solo en direcciones web, títulos y metastags).
3. Un poco más adelante, también en 1994, surge Lycos con un algoritmo que incluía las proximidades entre palabras, al principio salió con 54.000 documentos y en agosto de ese mismo año ya es 394.000 y en 1996 alcanza los 60 millones.
4. De forma paralela a todo esto, en abril de 1994, se crea Yahoo! El primer gran buscador, fruto de un doctorado de la Universidad de Stanford. Sus dos creadores; David Filo y Jerry Yang, crean lo que era una colección de páginas webs. Llegando un momento que el índice tenía un tamaño descomunal y se tuvo que reorganizar y empezar a crear un sistema de búsqueda.
5. En diciembre de 1995 estudiantes de Stanford lanzaron Excite27 con un algoritmo más complejo y pretendía crear un sistema de sinónimos entre las palabras.
6. A finales de 1995 fue un lanzado AltaVista28, con unos beneficios como; ancho de banda casi ilimitado y velocidad de ofrecer resultados.
7. Casi simultáneamente también apareció Ozú, que el buscador y el directorio era gestionado por personas y en 2001 Ozú fue comprado por el grupo Vocento llegando a un acuerdo de Google para que utilizara los resultados de Ozú.
8. En 1996 se crea Hotbot considerado como el primer motor de búsqueda capaz de indexar los millones de webs que había en el momento. Ese mismo año sale Ask que intentaba poder contestar a preguntas de forma natural y cuya tecnología basaba sus resultados en los clicks que hacían los usuarios.
9. En 1996 empieza un proyecto de la mano de Sergey Brin y Larry Page llamado “BackRub”. Y tal como indicaba su descripción, BackRub creando un algoritmo para la búsqueda de datos. En 1997 BackRub se convierte en “Google”, el nombre proviene de un juego de palabras con el término “googol, desarrollaron una tecnología que calculaba la importancia de un sitio web en base los enlaces que recibía. En 1997 el dominio Google.com es comprado y contaba con una interfaz clara y sencilla, con resultados relevantes, además de patentar la tecnología PageRank, dando ranking a las páginas según su importancia. El 7 de diciembre de 1998, Google Inc., ya disponía de oficinas propias en Menlo Park, California.
10. En 1998 apareció MSNSearch de mano de Microsoft, actualmente Bing. Al principio MSN dependía de otros para listar búsquedas. Pero en el año 2004 debutó con su “MSNbot”. Además de búsqueda Web, incluye búsqueda de noticias, búsqueda de imágenes, búsqueda en el escritorio y búsqueda en el sistema de la enciclopedia on-line Encarta.
11. En 1999 nace el gigante chino Baidu y en 2000 Teoma, este último analizando los enlaces para acordar ranking de páginas según temáticas, al final fue comprado por Ask.
12. En 2003 Google implementa grandes cambios en su motor de búsqueda añadiendo búsquedas semánticas.
13. En 2004 sale Clusty con una filosofía basada en clustering que hace que en ingles funcione bien, pero de errores en otros idiomas.
14. También en 2004 MSNSearch pone en marcha la plataforma Windows Live.
15. También hay que hacer referencia a buscadores como Noxtrum muy enfocado a empresas españolas y del que se habló mucho en 2005 y en 2008 deja de estar en línea.

Directorios de Búsqueda

Los directorios fueron los primeros buscadores utilizados en Internet, su funcionamiento era más rudimentario de lo que actualmente consideramos “buscador”.

La peculiaridad de los directorios es que se basan en que una parte humana que introduce una serie de datos relevantes sobre una página web tales como el título, resumen del contenido, dirección, etc. Todo este trabajo “manual” tiene como objetivo que la web quede indexada dentro de una base de datos dividida en categorías, para que cuando se realiza una búsqueda la base de datos devuelva una lista de enlaces hacia las páginas webs que tienen relación con las palabras buscadas.

Su gran inconveniente es la nula capacidad de rastreo e indexación de gran volumen de webs al no hacerse de forma automática, por lo que un directorio solo es capaz de almacenar un pequeño número de las webs disponibles en Internet.