Capitulo 2

 

Principal
Sumario
Capitulo 1
Capitulo 2
Capitulo 3
Capitulo 4
Conclusiones
Bibliografia

 

El Motor de Búsqueda

 

bullet

¿Que es un Buscador o motor de Búsqueda?

bullet

 Su Historia

bullet

  Componentes de un buscador ¿Cómo Funcionan?

bullet

  Las Etapas de la Búsqueda
bullet Recolectar Datos
bullet Catalogar
bullet Interfases

           

bullet

   Como Utilizar Un Buscador
bullet Búsquedas temáticas
bullet Búsquedas por palabra clave o automáticas

 

bullet

  ¿Cuánto vale publicar en un Buscador

bullet

   Motores de Búsqueda basados en crawlers 
bullet Técnica que utilizan los crawlers

      

         

bullet

  Meta-Motores de Búsqueda
bullet Características Importantes de Meta-crawler
bullet Características de personalización
bullet Herramientas adicionales para búsqueda

 

           

    ¿Que es un Buscador o Motor de Búsqueda?

Un motor de búsqueda es un conjunto de programas instalados en un servidor conectado a Internet: un sitio más al que se puede acceder en la Web.

Estos “Buscadores” son la principal forma que permite a los usuarios de Internet encontrar sitios con la información que necesitan. Este es el motivo por el cual los sitios publicados en los listados de los motores de búsqueda incrementan drásticamente su tráfico. Todos quieren aparecer en los listados, desafortunadamente son muchos los que no lo logran por desconocer el modo en el cual trabajan los motores de búsqueda.


   
     Esta herramienta, llamada de varias formas (search engine, motor de búsqueda, robots inteligentes, etc.) son programas tipo base de datos, con un software diseñado especialmente para buscar la información a través de los enlaces de las paginas web. Algunos motores tiene programas muy sofisticados, pero que a nuestro fin, no importa el mecanismo interno por el cual lo realizan, ya que es muy complejo y técnico, pero a veces, el éxito de la búsqueda en un motor especifico, estará determinado por el volumen y el contenido de la base de datos del motor, la velocidad de búsqueda, la facilidad del uso, etc.

 

 Su Historia

            Los Motores de Búsqueda nacieron de la necesidad de organizar la información anárquica contenida en la Internet. Se basaron en una herramienta llamada Gopher creada por la Universidad de Minesotta a principios de los ’90.Fueron desarrollados por empresas, organizaciones o individuos e instalados en servidores conectados a Internet. Los buscadores más utilizados, como Yahoo o Altavista, forman parte de algunos de esos emprendimientos exitosos.

            Al surgir en 1994 la World Wide Web las opciones para buscar información en la red eran bastante limitadas, teníamos muy pocos buscadores, pero hoy con la llegada de nuevas tecnologías y mejores conexiones, aparecieron nuevos sistemas más potentes que recopilan toda la información de Internet, estos son conocidos como crawlers. En 1993 se crea el primer crawler al que se le llamó “world wide worm” (gusano mundial), era un programa que se arrastraba entre un sitio y otro e indexaba todas las páginas guardando el contenido en una base de datos. El crecimiento tan grande en la información publicada en Internet hace casi imposible que un sólo motor de búsqueda la mantenga indexada. A Medida que un buscador se hace más popular, comienza a concentrar más y más datos.

            Sin embargo podemos afirmar que las claves del arte de buscar no consisten en conectarse al buscador ni en recorrer miles de documentos sino en aprender a detallar los pedidos con la precisión necesaria para que el mecanismo de búsqueda brinde pocas opciones: formular la pregunta adecuada es el requisito fundamental para obtener la respuesta justa.

 

            En al actualidad, gran parte de los buscadores provienen de Estados Unidos y se especializan en recursos en inglés, en consecuencia la información refleja la cultura Norteamericana. Las personas que no hablan inglés o que no nacieron en ese país llevan una desventaja en la búsqueda de información. Motores de búsqueda nacional en Rusia o Francia, tratan con pequeños grupos de información especializada en la cultura y lingüística que ellos conocen, pero tienen la desventaja de que sus consultas son en francés o ruso, por lo cual los resultados que generan son pocos, es decir están restringidos al lenguaje. Los motores de búsqueda como AltaVista soportan búsquedas multilingües, lo cual es bueno si la persona que la realiza conoce varios lenguajes, de lo contrario de nada sirve.

 

 

 Componentes de un Buscador :¿Cómo Funcionan?

 

            Los Motores de Búsqueda o Buscadores se componen de varias partes en delicado equilibrio e interacción, cada una con una función específica:

 

bullet

    Programas robot que recolectan la mayor cantidad de información de todo el mundo y la almacenan en una enorme base de datos. 

bullet

    Un equipo de expertos en la organización de la información que la catalogan por temas (categorías) o palabras clave.

bullet

    Un servidor de Web que, a través de un programa que examina la base de datos del buscador, recibe los pedidos de información del usuario y le devuelve los resultados. 

 

 

Debido al tamaño de la red, el número de páginas que no se han tocado en años y la cantidad de paginas que contienen palabras que te hacen llegar a sitios no deseados, el trabajo para indexar apenas una fracción de ésta (la red), y obtener al mismo tiempo resultados satisfactorios requiere de un esfuerzo considerable.

Los Buscadores que están basados en crawler, a diferencia de los basados en directorios, operan de manera automática para la clasificación de las páginas, es decir no requieren interacción humana. Los tres tipos de motores de búsqueda soportan un lenguaje de consulta el cual permite obtener resultados más precisos.

            Mas adelante en el trabajo nos adentraremos en cada uno de los tipos de buscadores.

 

 

 Las Etapas de la Búsqueda

 

 Recolectar datos 

            Algunos buscadores poseen programas robots especiales llamados Wanderers (viajeros), spiders (arañas) o simplemente robots, que en forma automática recorren de página en página los links (enlaces) de la Web y almacenan todo lo que encuentran en su camino. El Inktomi y el Webcrawler son algunos de los buscadores basados en este método de recolección de datos.

            Otros buscadores se basan en los datos que les envían los usuarios. Cuando alguien diseña un sitio, lo primero que debe hacer es darse a conocer, entre otros medios, a través de los buscadores, mediante un formulario (form) donde se ingresan los datos del sitio y los temas o palabras clave con los que está relacionado. 

            La mayoría de los buscadores, sin embargo, utilizan ambos métodos de recolección de datos combinados. 

Catalogar 

            Una vez que está almacenada en la base de datos, la información de las páginas ingresa a la etapa de análisis efectuada, en general, por especialistas en bibliotecología o en la organización de unidades de información. La forma de ordenar los datos es fundamental para el éxito de una herramienta de búsqueda y difícilmente pueda programarse para que el ordenamiento se realice en forma automática. Las personas encargadas de esta tarea podrán verificar cada sitio que los robots almacenaron, recorrerlo y decidir en qué categorías estará incluido, qué palabras clave deben activarlo, etc. Este es un proceso delicado y juega un papel fundamental en la eficiencia de la herramienta. 

Interfases 

            Después de estas dos primeras etapas, la información estará a disposición del que quiera consultarla.


            La búsqueda funciona del siguiente modo: 

            Conectarse con el buscador elegido. La elección depende de los gustos y necesidades personales. Dado que cada buscador tiene sus propios mecanismos para relevar información, los resultados serán diferentes en cada caso. 
            Ingresar una o varias palabras clave, luego dar la orden de comenzar o bien elegir un tema del menú desplegado por el buscador. 
            El servidor del buscador recibirá el pedido, recorrerá su base de datos buscando información que coincida con el requerimiento y generará un resultado. 
            En la pantalla aparecerá un documento Web encabezado por una leyenda indicativa de cuántos sitios se encontraron. Aparecerán también los nombres y direcciones de los primeros 10 o 20 sitios y (opcionalmente) una breve descripción del contenido de cada uno.
            En ese momento se podrá elegir si se desea seguir alguno de esos enlaces cliqueando sobre ellos o solicitar los próximos diez sitios, o bien estrechar la búsqueda si la cantidad de sitios de resultado son demasiados. Estas opciones figuran usualmente al pie de la página del buscador. 

 

 

 

 ¿Cómo utilizar un Buscador?

Existen dos formas básicas de buscar:

- Búsquedas temáticas: El buscador ofrece al usuario una serie de temas o áreas de interés. Una vez seleccionado uno de ellos, se abren nuevas opciones de subtemas y así, en pasos sucesivos, se va refinando la búsqueda hasta llegar a la información requerida. 


- Búsquedas por palabras clave o automáticos: Se activan a partir de una o más palabras clave ingresadas por el usuario. El buscador ofrecerá, como resultado, una página con la lista de los sitios que contienen los términos solicitados, existe una menor contextualización de lo que requiere el usuario.

 

Búsquedas temáticas

            las búsquedas de este tipo están compuestas por dos partes : la base de datos que es construida por las direcciones de las páginas remitidas y una estructura jerárquica que facilita la consulta.
            Por lo general, suelen ser más lentas porque el usuario debe ir afinando, tema por tema, su pedido hasta llegar al punto que le interesa. Pero tienen más precisión y son ideales cuando se necesita encontrar una gran variedad de fuentes sobre un mismo tema. Las búsquedas temáticas pueden utilizarse para hallar, por ejemplo:

 

bullet

 Todas las revistas de informática conectadas a Internet .

bullet

  Los sitios de actores famosos .

bullet

  Toda la información disponible sobre música.

bullet

  Todo lo que haya sobre computación. 

    En las búsquedas temáticas, a las herramientas que organizan la información en temas se las llama catálogos (Net Directory en inglés). 

    Sin duda, el sitio favorito para este tipo de búsqueda es Yahoo (
http://http://www.yahoo.com) aunque existen otros que serán mencionados más adelante. La búsqueda temática comenzará al conectarse con el sitio de la compañía: las opciones consisten en una serie de grandes temas genéricos como por ejemplo: Arte, Negocios y Economía, Computadoras e Internet, Educación, Entretenimiento, Gobierno, Salud, Noticias, Deportes y Recreación, Referencia, Temas regionales, Ciencias, Ciencias Sociales y Sociedad y Cultura. 

 

Arte y cultura
Literatura, Teatro, Museos...

Ciencia y tecnología
Animales, Informática, Ingeniería...

Ciencias sociales
Economía, Psicología, Historia...

Deportes y ocio
Fútbol, Deportes, Turismo...

Economía y negocios
Para empresas, Para consumidores, Empleo...

Educación y formación
Primaria, Secundaria, Universidades...

Espectáculos y diversión
Cine, Actores, Música, ¡Genial!...

Internet y ordenadores
WWW, Aplicaciones, Revistas...

Materiales de consulta
Bibliotecas, Diccionarios...

Medios de comunicación
Temas de actualidad, Periódicos, TV...

Política y gobierno
Países, Embajadas, Derecho...

Salud
Medicina, Enfermedades...

Sociedad
Gastronomía, Culturas, Religión...

Zonas geográficas
Países, Europa, CC.AA....


    Si se elige uno de estos temas, una nueva página mostrará los subtemas que, a su vez, se descomponen en otros subtemas y así sucesivamente hasta que se encuentren referencias concretas (links) a páginas Web con información relacionada con el tema que se busca.

    La dificultad fundamental en este tipo de búsqueda es que a veces no es fácil determinar bajo qué categoría puede estar incluido determinado tema o si la forma en que está organizada la información dificulta el hallazgo de algún dato en particular.

 

Ejemplo Práctico

Si se desea hacer una búsqueda en Yahoo! para encontrar información sobre Pearl Jam:

- Primero se elegirá la categoría de Entretenimiento (Entertainment) 
- Dentro de los varios temas disponibles se seleccionará Música (Music) 
- De las opciones en las que se subdivide Música, se escogerá Artistas   (Artists) 
- Luego, la categoría Por género (By genre) 
- Cómo género, se seleccionará Rock 
- Dentro de Rock, Pearl Jam. 
- Una vez aquí, Yahoo ofrecerá enlaces a páginas con información sobre la artista. 

Algunos datos para mejorar este tipo de búsqueda:

- No es recomendable usar la línea en blanco para hacer búsquedas por una palabra clave en las herramientas para búsquedas temáticas. Difícilmente llevan a resultados inmediatos. 

- Una buena estrategia de búsqueda consiste primero en profundizar dos o tres niveles en el tema que se quiere buscar (por ejemplo a nivel Música, dentro de Entretenimientos) y allí hacer una búsqueda, pero limitándola al tema en el que se está posicionado. 

 

Ejemplos de buscadores temáticos:

Yahoo!
http://www.yahoo.com/
La información está estructurada en directorios de una forma ejemplar, aunque en inglés
En los resultados de cualquier búsqueda, Yahoo! da tres diferentes tipos de información:

1. Categorías Yahoo! que contienen las palabras que buscas. 
2. Sitios web que contienen las palabras que buscas. 
3. Categorías Yahoo! donde esos sitios están listados.

    De esta manera se puede ir directamente a los sitios encontrados, o ver alguna de las categorías Yahoo! relativas a tu búsqueda.
    Yahoo! Se ha implantado en varios países, por lo que contiene índices y bases de datos en diferentes idiomas. Puedes visitar la versión de Yahoo! En español en
http://espanol.yahoo.com/

Lycos
http://www.lycos.com/
Lycos empezó como un motor de búsqueda automático que buscaba sitios en Internet y los indexaba en su base de datos. En abril de 1999 cambió a un modelo similar al de Yahoo. Los resultados de las búsquedas en Lycos provienen del Open Directory Project, un proyecto que busca ordenar la información publicada en Internet. Lycos adquirió en 1998 a su competidor HotBot, y posteriormente fue comprado por Terra Networks de España.

La lista de Scott Yanoff
http://www.spectracom.com/
Una lista muy completa y tradicional de Internet con una excelente organización por categorías. 

Galaxy
http://galaxy.einet.net/galaxy.html

La información de Galaxy es compilada y organizada por Bibliotecarios de Internet humanos más bien que por la computadora. Este acercamiento permite enfocan la profundidad de cobertura dentro de sujetos definidos así como la exclusión de los Sites del Internet que son ofensivos, incompletos o mal mantenidos.

 

 Búsquedas por palabra clave o automáticas

    Están compuestos por tres partes: los robots que recorren la red escrutándola. la base de datos que es construida por los robots y el motor de búsqueda que facilita la consulta a la base.
    La búsqueda por palabra clave (keywords) suele ser más rápida aunque menos precisa que la anterior. Hay que conectarse con algún buscador de los que se mencionan más adelante. 

    Si el usuario no sabe efectuar su pedido con precisión, la búsqueda por palabras clave puede llevar horas ya que un término puede estar presente en cientos de miles de sitios. Sin embargo, este tipo de búsqueda es ideal para encontrar determinado tipo de datos, por ejemplo:

- Las letras de las canciones de Sting. 
- Cualquier página que mencione la palabra Samsung, su home page, sus competidores, su agencia de publicidad y cientos de referencias más a esta empresa. 
- Un hotel en Japón que tenga cancha de golf. 

    Para buscar, el sitio se presenta una línea en blanco para que el usuario ingrese la palabra o palabras que mejor describan el tema que busca. 

    Si se ingresa una sola palabra, por ejemplo música, aparecerán miles de enlaces con páginas que citan ese tema. Será imposible, obviamente, recorrerlas todas. Si, en cambio, se ingresan varias palabras, se podrá estrechar la búsqueda hacia subtemas más específicos. 

    Una vez ingresadas las palabras, se debe hacer clik sobre "buscar" (seek o find, según el buscador).

    El buscador mostrará el resultado en forma de una página Web encabezada por una leyenda indicativa de cuántos sitios que satisfacen el pedido se encontraron. También aparecerán los nombres y direcciones de los primeros 10 ó 20 sitios y opcionalmente una breve descripción del contenido de cada uno. En este momento se podrá elegir si se desea seguir cliqueando alguno de esos links o solicitar los próximos diez sitios, o bien estrechar su búsqueda (definir mejor las palabras clave) si la cantidad de sitios de resultado son demasiados. Estas opciones figuran usualmente al pie de la página del buscador.

Ejemplo:

    Si intentamos encontrar, como en el ejemplo anterior, la letra de un tema de Pearl Jam, podremos hacer una búsqueda por la palabra clave Pearl Jam. 

    El buscador ofrecerá varios miles de enlaces, incluyendo referencias a información perteneciente a otros temes y no precisamente al grupo musical Pearl Jam. Será necesario, entonces, volver a intentarlo (cliqueando el botón BACK o similar) pero esta vez habrá que ingresar una clave más precisa, por ejemplo, Peral Jam music. Este nuevo pedido devolverá varios cientos de opciones pero todavía se estará lejos del resultado buscado. 
Una búsqueda por Pearl Jam music lyrics (letras) permitirá llegar al objetivo más rápidamente.


Algunos datos para mejorar este tipo de búsqueda:

- Es útil Ingresar la mayor cantidad posible de palabras para limitar el resultado. De este modo se ahorrará mucho tiempo. Utilizar siempre plurales. 

- Separar las palabras con un espacio en blanco. 
- Si el resultado es nulo (no hay sitios), volver a buscar con menos palabras o con sinónimos. 
- En general, en el resultado veremos solo las primeras 10 referencias (aunque esto es configurable). Si ninguna de ellas es satisfactoria, debe elegirse, al pie de la página, la opción para ver las siguientes 10 opciones y así sucesivamente. Si no se tiene éxito, será necesario cambiar las palabras de la búsqueda o hacerla más estrecha. 
- Si se ingresan palabras en inglés, se obtendrán mayores resultados. En castellano, la cantidad de referencias será mucho menor pero los sitios probablemente contengan información en español. 
- Si no se encontró lo que se buscaba en determinado índice, intentarlo en otro. Cada compañía tiene su propia base de datos. 
- Ingresar las palabras en letras minúsculas, salvo que se trate de nombres propios. 

Ejemplos de buscadores automáticos :

AltaVista
http://www.altavista.com/
AltaVista es uno de los buscadores más grandes en Internet, en términos de la cantidad de páginas web indexadas. Posee más facilidades para ajustar la búsqueda a los criterios que nos interesan, por lo que lo convierte en un favorito entre los navegadores. También ofrece varias características diseñadas para atraer a usuarios básicos como 'Ask AltaVista' (Pregúntale a AltaVista), que despliega resultados de otro motor de búsqueda llamado 'AskJeeves'. AltaVista abrió en diciembre de 1995.

Excite
http://nt.excite.com/
Excite es uno de los servicios de búsqueda más populares en Internet. Ofrece un índice de tamaño medio e integra materiales no relacionados con Internet como marcadores deportivos u otras noticias en sus resultados de búsqueda, cuando es apropiado. Excite fue lanzado a finales de 1995, creciendo muy rápidamente y absorbiendo a 2 de sus competidores, Magellan y WebCrawler. Permite búsquedas con frases simples aunque su base de datos contiene mayoritariamente sitios en inglés.

Hotbot http://hotbot.lycos.com/
Es un motor de busqueda que rastrea los millones de sitios web en forma totalmente automatica, y presenta las paginas obtenidas como resultado de la busqueda segun criterios ya establecidos por el robot: frecuencia de aparicion de la palabra clave en la pagina y en el titulo de la pagina, aparicion de las palabras en documentos cortos, etc.

Infoseek / GO
http://www.infoseek.com/
Go es un sitio tipo portal producido por Infoseek y Disney. Provee resultados de búsqueda de calidad gracias a su tecnología especial 'ESP'. También tiene un gran directorio de sitios web compilado manualmente. Fue lanzado oficialmente en enero de 1999.

Terra
http://www.terra.com/
Este es un buscador español que se ha implantado en prácticamente todos los países de habla hispano-portuguesa. Utiliza el popular motor de búsqueda Inktomi, que es el mismo que utiliza Yahoo! Te permite hacer búsquedas en la base de datos de terra y en la base de datos de Inktomi, la cual es muchísimo más amplia. Terra fue lanzado en España hace poco más de 1 año .

WebCrawler
http://www.webcrawler.com/
Analiza el texto completo de aproximadamente medio millón de páginas Web. 
Ligeramente desactualizado. Como no ofrece descripciones de cada página, las búsquedas se vuelven complejas. Ideal para buscar home pages (páginas iniciales) de grandes compañías. 

Deja News/Google
http://groups.google.com/googlegroups/deja_announcement.html o  http://www.google.com/
Es la herramienta más completa para encontrar información sobre newsgroups. Google utiliza tecnología de última generación para producir rápidamente los resultados correctos para cada consulta. Google devuelve resultados apropiados porque responde a su consulta utilizando un método automatizado, que clasifica los sitios Web correspondientes según la estructura de vínculo de Internet. 

Electric Library
http://www.elibrary.com/
Busca en el texto completo de 150 diarios y 800 revistas, entre otras fuentes. 
Ideal para hallar artículos periodísticos publicados sobre algún tema. 

Virtual Software Library
http://www.shareware.com/
Ideal para encontrar todo el software que se necesite, a través de distintos mecanismos de búsqueda. 

 

 

    ¿Cuánto vale publicar en un buscador?

 

Es cierto que se pierde mucho tiempo y recursos humanos para crear una buena representación en Internet. Desgraciadamente, el trabajo aun no ha sido terminado. La gente debe poder de encontrarle en la Red de redes. Esto es porque es muy importante tener un claro y correcto registro de sus páginas en los motores de búsquedas y directorios más populares.

Pero esto no es necesariamente  gratis, la mayoría de los buscadores son empresas con fines de lucros y por lo tanto cobran por incluir páginas a su directorio, una de los parámetros utilizados para el cobro es que la pagina indexada aparezca dentro de las primeras 20 propuestas de resultados.

Otra forma de segmentar el cobro es que aunque aparezca dentro de los 20 primeros resultados, el cliente entre efectivamente a la pagina.

En cuanto  los valores de publicar o “subir” nuestra página a un buscador, o mejor dicho a un grupo de buscadores es variado, así como también el tiempo de espera antes de subir.  Algunos buscadores no cobran a las personas que quieren publicar su propia pagina y sin fines comerciales, en cambio empresas dedicadas al desarrollo de sitos de Internet tienen como un servicio incluido la publicación en por lo menos 400 buscadores simultáneamente.

Golden Planet, por ejemplo una empresa de Internet dedicada a la publicación simultanea de páginas en motores de búsqueda cobra US$ 54 por sus servicios, esta empresa ofrece además las siguientes condiciones:

  1. Hacer algunas modificaciones a su página para que contenga las etiquetas más importantes, que no son visibles, pero que ofrecen mucha información para indexar en cada motor de búsqueda.
  2. Después de esto registraran su página en los 300 más importantes motores de búsqueda y directorios. Usted recibirá un informe completo de cuando y donde han sido registradas sus páginas.

 

Otras empresas del rubro de la publicación cobran entre 40 y 80 dólares y donde cuya diferencia se debe al grado de complejidad o comerciabilidad de las páginas, además de los servicios posteriores como la mantención en nuevos motores y la constante revisión.

El tiempo de publicación varia desde 1 día para los buscadores con menos visitas hasta 7 días dependiendo el día que se pida la inclusión como es el caso de algunos de los buscadores hispanos demás alta demanda (Alta vista, Yahoo, Google, entre otros).


 

            Promocioni otra empresa de Internet tiene la siguiente tarifa para el alta de páginas:

Servicio de Registro en motores de búsqueda

No. de meses

Precio USD $

registro en más de 500 motores de búsqueda y/o directorios

     1

$25.00

registro en más de 500 motores de búsqueda y/o directorios

     2

$45.00

registro en más de 500 motores de búsqueda y/o directorios

     3

$65.00

 

            El numero de meses se refiere a la cantidad de meses en que ellos están preocupándose de que la página sea efectivamente indexada, aunque por lo que pudimos averiguar en muchos buscadores no se dan páginas de bajas y por lo tanto cuando buscamos nos envía a paginas que ya caducaron o que no existen, esto trae como consecuencia, generalmente, que el cliente prescinda del servicio de ese motor y elija otro.

 

   Motores de búsqueda basados en Crawlers

           

            Los motores de búsqueda basados en crawlers consisten en bases de datos muy voluminosas generadas como resultado de la indexación de partes significativas de los documentos que han sido analizados previamente en Internet. Los motores de búsqueda suelen recoger documentos en formato HTML y otros tipos de recursos, como noticias. La tarea es realizada por un programa denominado crawler (robot o spider) que recorre la red de forma automática explorando los servidores a nivel mundial, o en el ámbito de especialización del buscador (geográfico, idiomático o temático). La recuperación se realiza gracias a un sistema de gestión de base de datos que permite distintos tipos de consulta y a la ordenación de los resultados por relevancia, en función a la estrategia de consulta. Los motores de búsqueda son más exhaustivos que los índices en cuanto al volumen de páginas referenciadas, pero son mucho menos precisos que los índices, al no ser su contenido objeto de indexación humana.

 

Las partes de una herramienta de búsqueda basada en crawler, en la figura  se puede apreciar la manera en la que interactúan estas partes:

Ø       Formas para búsqueda: es una interfaz HTML que permite al usuario introducir los términos de búsqueda, es decir la frase con la cual identifica al tema, y especificar las preferencias (especificar un lenguaje, usar operadores, etc.) para realizar la consulta.

Ø       Motor de búsqueda: es el programa (CGI Common GateWay Interface, módulo servidor o servidor separado) que acepta la petición de la forma para búsqueda o URL (localizador de recursos uniforme), busca al índice, y regresa la página de resultados al servidor.

Ø       Archivo Índice: creado por un programa indexador de búsqueda, es un archivo índice especial que almacena los datos de los sitios, y está diseñado para accesos muy rápidos. Este archivo necesita ser actualizado constantemente, de lo contrario no estará sincronizado con las páginas o proveerá resultados obsoletos.

Ø       Listado de resultados de búsqueda: es una página HTML que contiene el listado de resultados coincidente con los términos de la búsqueda. Se muestra de acuerdo a un orden de relevancia, generalmente se basan en el número de veces en que aparece el término de búsqueda en la página, y si este existe en el encabezado o el título. Los listados, generalmente, incluyen el título de la página y un resumen (las meta descripciones, las primeras líneas de la página o el texto más importante). Algunos incluyen además la fecha de modificación, el tamaño, y la URL.

Ø       Crawler o indexador: es el programa que se encarga de inspeccionar e indexar la red y proveer los datos obtenidos de las páginas HTML al archivo índice. También es el encargado de mantener actualizado el índice.

Ø       Páginas HTML: Aunque no son parte del motor de búsqueda, son la fuente de información que lo alimenta.

 

            Los crawlers ejecutan una tarea muy útil, pero consumen gran parte del ancho de banda, lo cual puede ser frustrante. Además si no están bien programados pueden crear ataques de servicio prohibidos y no deseados en algunos servidores, al intentar obtener la información a una velocidad mayor que la que soporta el servidor. A las partes del código mal programadas o dañinas se les conoce como bugs, e incluso algunos se programan para que lo hagan intencionalmente. La interacción humana también puede des-configurar un crawler (o robot), o no entender el impacto que causará su configuración en los servidores que contacta. El problema mayor es la falta de inteligencia, es decir, ¿en base a que toma la decisión el crawler?. A pesar de todos los problemas los crawlers ofrecen un servicio valuable a la comunidad de Internet.

 

  Técnica Que Utilizan Los Crawlers

            Los motores de búsqueda basan la recuperación en el uso de palabras claves y en la ordenación de los resultados de búsqueda por relevancia. Utilizan un programa que se comporta como un navegador pero además almacena el contenido en una forma que la hace fácil de recuperar posteriormente, este programa es conocido como crawler, robot o spider.  

            Es importante conocer la forma como los crawlers actuarán sobre las páginas que rastrean, ya que de ello depende el éxito del registro completo del sitio y alcanzar una buena clasificación.

bullet Rastreo profundo: el motor de búsqueda lista muchas páginas de un sitio, aún si no están explícitamente registradas en él.
bullet Soporte de marcos: es una característica que permite a los motores de búsqueda seguir los enlaces a través de los marcos (frames).
bullet Mapas de imágenes: son enlaces a otras páginas a través de imágenes.
bullet Robots.txt: es un archivo de texto que permite indicar que páginas no deben ser indexadas en el sitio.
bullet Meta índice robot: tiene el mismo objetivo que el robots.txt, pero este es una instrucción del código HTML de la página.
bullet Rastreo por enlaces de popularidad: la popularidad de una página se detecta analizando cuantos enlaces existen hacia otra página. Los motores de búsqueda usan esa característica para determinar que páginas deben incluir en el índice de su base de datos, aunque esto no necesariamente indica que obtendrán una buena clasificación.
bullet Aprende por frecuencia: el motor de búsqueda aprende con que frecuencia se modifican las páginas, para estimar el tiempo en el que volverá a visitarlas el crawler.
bullet Inclusión pagada: muestra si el motor de búsqueda ofrece un programa donde se pueda pagar para garantizar que las páginas de un sitio se incluyan en el índice. Esto no es lo mismo que colocación pagada, la cual además de la inclusión en el índice, garantiza una posición en particular en relación a un término de búsqueda.

       

       Meta- Motores De Búsqueda

            Existen también los llamados meta-buscadores, es decir, buscadores dentro de los buscadores. Al recibir un pedido de búsqueda, estas herramientas lo reenvían a varias otras y luego reordenan los resultados de todas.

            La ventaja de los meta-motores de búsqueda o Meta-Buscadores es que permiten consultar en una gran cantidad de motores de búsqueda y directorios de forma simultánea, y obtener los resultados más relevantes de cada uno de ellos, lo cual puede significar un gran ahorro de tiempo, en la búsqueda de la información.

            Sin embargo al regresar una mayor cantidad de resultados, el ruido que producen es mucho mayor. El uso cotidiano del meta-motor de búsqueda mejora los resultados que este ofrece, ya que se aprende a reducir el ruido utilizando las características de búsqueda avanzada que la mayoría presentan, refinando algunos criterios antes de iniciar la búsqueda.



MetaCrawler
    La más versátil de las herramientas de búsqueda múltiple, con gran variedad de opciones para refinar la búsqueda. 
Con interfase en inglés
http://www.metacrawler.com/
Con interfase y ayuda en castellano
http://planeta.gaiasur.com.ar/infoteca/metacrawler/index.html
Busca en Lycos, WebCrawler, Excite, Altavista, Yahoo, etc

 

Te respondo  http://www.terespondo.com/v4/

    Este metabuscador es una base de datos de Preguntas-Enlace, creadas virtualmente por 
un equipo editorial situado en diferentes establecimientos educativos en Latino América. Visita los principales sites de búsqueda y extrae los 10 primeros resultados de cada uno.La infraestructura de TeRespondo.com esta hecha para ser integrada en cualquier tipo de Sitio Web o portal. 


Starting Point
http://www.stpt.com/
            Al principio lanzado como el Punto de partida (www.stpt.com) y ahora como MyStartingPoint ha ayudado a la gente desde 1996. MyStartingPoint es un recurso de búsqueda de Internet muy destacado. Sus sitios, la amplia gama de rasgos y funciones, siguen haciendo de MyStartingPoint " el más unificado " sitios sobre el Web con más de 100,000 eslabones individuales que indican el sitio.

 

Metabusca http://www.metabusca.com/

            Metabusca es un nuevo concepto de buscador que incorpora un sistema de navegación que permite al usuario una localización más rápida y efectiva de lo que realmente le interesa. Mediante un sencillo y amigable sistema de marcos, el usuario puede hacer una búsqueda y realizar una visualización previa de las páginas sin perder el listado de resultados ofrecidos, que se mantiene en una columna a la izquierda de la pantalla. 

C/net Search http://www.search.com/

 

 Características importantes de meta-crawler

bullet Cobertura completa: al usar muchos motores, la cobertura de la información publicada en Internet es mayor.
bullet Sintaxis de búsqueda consistente: una sola sintaxis funciona para buscar en todos los motores registrados. Al usarla se obtienen resultados más depurados, sin embargo la búsqueda se realiza solo en los motores que soporten esa característica. Los operadores que soporta son: la combinación de palabras, usando los operadores and o + y la exclusión de palabras usando not o -.
bullet Clasificaciones de votos de servicios: otorga una puntuación a las páginas que regresan los motores de búsqueda, la cual es confidencial y está normalizada de acuerdo a la importancia que la página vaya adquiriendo, es decir, al número de veces que se le solicite en las consultas. La puntuación varia entre 0 (la peor) y 1000 (la mejor) y se muestra casi al final de cada resultado, ver figura 2.
bullet Opción Power Search: permite especificar los motores en los que se deberá buscar, el tiempo de espera por los resultados, la cantidad de resultados por página, y el número de resultados por motor de búsqueda fuente.

 

 Características de personalización: maneja características para personalizar        la página de inicio y la forma de búsqueda.

bullet Colores del sitio: permite elegir los colores del sitio (entre siete combinaciones).
bullet Interfaz por defecto: permite indicar la interfaz que presentará el sitio en la página de inicio.
bullet Low bandwidth es recomendada para conexiones con poco ancho de banda o versiones de navegadores antiguas.
bullet Normal search es la interfaz normal del sitio.
bullet Power search permite elegir las opciones mencionan anteriormente.
bullet Motores a usar: permite elegir los motores de búsqueda a utilizar en la búsqueda.
bullet Palabras claves por defecto: consiste en las opciones any, all y phrase.
bullet Buscar por frase (phrase): la buscada se realiza considerando los términos como una expresión y no por palabras.
bullet Buscar por todas las palabras (all): se busca por todas las palabras en cualquier orden. Los resultados incluirán páginas con todas las palabras de los términos de búsqueda, pero algunas presentarán solo unas cuantas.
bullet Buscar por cualquier palabra (any): se buscan páginas que tengan una o más de las palabras presentes.
bullet Dominio / origen: filtra los resultados por dominio (como .edu, .com, y .gov), región (Norte América, Europa, Asia, etc.) o por un país individual.
bullet Tiempo de espera: es el tiempo máximo de espera para recibir los resultados.
bullet Vista de resultados: permite elegir si los resultados deberán aparecer en orden de relevancia, por sitio o por la fuente que lo proporciono.
bullet Sticky: indica si las opciones anteriores se deberán guardar para futuras sesiones.

 

Herramientas adicionales para búsqueda:

bullet MetaSpy (meta espía): da al usuario una visión de lo que otros usuarios están buscando. Cada servidor de MetaCrawler le indica periódicamente (cada 15 segundos) acerca de las búsquedas más recientes. MetaSpy usa un servidor basado en java para mantener las últimas búsquedas en memoria y darles un formato agradable a los usuarios.
bullet MiniCrawler: es una versión pequeña de MetaCrawler que da al usuario un acceso constante a los servicios de meta búsqueda. Presenta una interfaz que ocupa muy poco espacio en el escritorio (pantalla de la computadora). Su funcionamiento es simple, permite introducir los términos de búsqueda en un pequeño cuadro de edición y devuelve los resultados

           

            A continuación se describen los operadores que se utiliza para generar frases más complejas que presentan mejores resultados, estos son muy similares a los que utilizan la mayoría de los motores de búsqueda (crawlers, directorios o meta motores de búsqueda), pero no son estándares y pueden variar ligeramente, se recomienda consultar la página de ayuda del motor de búsqueda que se este utilizando:

bullet Comillas (""): permiten indicar que los documentos deseados deberán contener esa expresión en ese orden de palabras, de lo contrario no serán relevantes.
bullet Mayúsculas y minúsculas: al diferenciar mayúsculas y minúsculas se obliga a que esas palabras aparezcan literalmente tal como el término de búsqueda.
bullet Incluida (+): obliga a que la palabra que va a continuación esté incluida en la información encontrada.
bullet Eliminar (-): elimina páginas que contengan la palabra que va a continuación. Si se emplea para un término que contenga guiones, se deben escribir las dos palabras sin separarlas con un espacio, por ejemplo deja-vu.
bullet Raíz (*): el asterisco sirve para indicar raíces de palabras, reemplaza a una serie indeterminada de letras: col*r es tanto color como colour o colaborador.

 

            Una característica reciente entre algunos motores de búsqueda es la selección por idiomas, es decir, permite restringir la consulta a un idioma específico. El modo de búsquedas avanzadas proporciona otro método de seleccionar la información, puede acotar los aciertos por fechas, con los operadores AND y OR (similares a + y -) y con frases de búsqueda más complejas. Incluso se puede especificar la cantidad de palabras máximas de separación que debe haber entre dos palabras determinadas. Se puede elegir la información que se desea desplegar en los listados de resultados, tales como la descripción, URL, última fecha de modificación, tamaño de la página, y el lenguaje en el que está escrita. Además del número de resultados que se desean desplegar por página.

 

 

 

                   • Principal • Sumario • Capitulo 1 • Capitulo 2 • Capitulo 3 • Capitulo 4 • Conclusiones • Bibliografia •