Quince puntos clave para gustar más a los buscadores

Escrito por Fernando Maciá

Un sitio web cualquiera puede generar un potencial de tráfico determinado en los buscadores de Internet: Live Search, Google o Yahoo! Este potencial de tráfico viene determinado por el posicionamiento que los distintos contenidos de dicho sitio web puedan conseguir para las búsquedas relacionadas con ellos que puedan plantear los usuarios, por un lado. Pero también por el número total de contenidos o páginas de que esté compuesto dicho sitio web. Parece evidente que, a mayor cantidad de contenidos, el potencial de tráfico debería ser mayor. ¿…O no?

Los buscadores y directorios de la Red son, hoy por hoy, la principal fuente de tráfico que llega a un portal. Un sitio web bien posicionado en términos de búsqueda populares y con gran cantidad de contenidos tiene una capacidad mucho mayor de recibir tráfico procedente de los buscadores que un sitio web con pocos contenidos, encuadrado en temáticas que generan un escaso interés en los usuarios de la Red o mal posicionado para dichas búsquedas.

En otros artículos sobre posicionamiento en buscadores, hemos hablado de que el posicionamiento de una web en los buscadores depende, esencialmente, de dos aspectos: la relevancia on page, o relevancia de los contenidos de la propia página –esencialmente los textos, título y metaetiquetas de la página- por un lado; y de la relevancia off page, o relevancia en forma de enlaces desde otros sitios web, caracterizados por la cantidad y calidad de dichos enlaces. Sin embargo, antes incluso de que un buscador tenga la posibilidad de calcular la relevancia de una página web, hay una condición previa que dicha web tiene que cumplir: que sea indexable. Llamamos indexabilidad de una web a su facilidad de ser encontrada por los buscadores, de ser correctamente rastreada en la totalidad de sus contenidos y de ser adecuadamente identificadas las categorías de búsqueda en las que se debería incluir como resultado. A partir de este punto, la mayor o menor relevancia de la página calculada en función de múltiples parámetros, influirá en la posición final que ocupará en los resultados.

Así pues, hay muchas cosas que podemos hacer para que nuestro sitio web guste más a los buscadores. En esta ocasión nos vamos a centrar en quince puntos que creemos clave y que, si nos aseguramos de cumplir, garantizarán que nuestros contenidos están en la mejor disposición de ser correctamente rastreados por los robots de los buscadores. No es condición suficiente para lograr un buen posicionamiento pero sí, desde luego, necesaria. Vamos allá.

1. Poniéndome las “gafas” de buscador

Uno de los primeros pasos para saber qué le gusta y qué no a un buscador consiste en ver su web como la ve el robot que tiene que indexarla. Existen diversos simuladores de arañas o robots (spider simulators o robot simulators) que puede emplear. Son herramientas on line que presentan la información que puede ser rastreada y empleada para calcular la relevancia. Comprobará cómo las imágenes, animaciones, contenido multimedia, Flash, etc. desaparecen y queda sólo el texto. Efectivamente, los buscadores tienen en cuenta fundamentalmente el contenido de texto de la página para calcular la relevancia.

A estos efectos, resulta también muy útil la vista “caché” que puede consultar en los resultados de algunos buscadores: se trata de la copia de su página que ellos han guardado en sus servidores. En ocasiones, es posible aislar el texto disponible llegando a una vista de su página parecida a la obtenida con las herramientas simuladoras de araña del párrafo anterior.

Si en la versión de caché de su página o tras emplear el simulador de araña comprueba que no hay texto visible, tiene un problema. Probablemente su web está hecha con Flash, o todo el texto forma parte de una imagen que integra el diseño junto con el texto. En ambos casos la solución pasa por alterar la programación original de su web o crear una versión HTML alternativa que sí contenga texto relevante para el buscador.

2. Cada página necesita un DNI

URLs únicas para cada página En las páginas de resultados de los buscadores, cada resultado se identifica con un valor que ha de ser único: es la dirección URL de la página. Se trata de la misma cadena de texto, números y símbolos que una vez en el campo de dirección del navegador le llevará a esa página. El valor de esa dirección es único: es como el DNI de la página. Identifica a ese contenido y ninguna otra página en Internet puede tener exactamente la misma.

Si navega por su web y comprueba que la dirección URL de su navegador no cambia, tiene un problema. Es posible que su web tenga muchos contenidos, pero los buscadores no van a poder archivar cada página con una dirección única. Puede comprobar si éste es su caso preguntando a los buscadores qué paginas conocen de su web introduciendo el comando “site:www.sudominio.com” en el campo de búsqueda. Al pulsar retorno, los buscadores le devolverán un listado con las páginas indexadas de su sitio web. Son las páginas susceptibles de aparecer en los resultados de una búsqueda. Si al navegar por su sitio web no cambiaba la dirección URL, es posible que haya pocas páginas en este listado. Puede deberse a que su web está programada con Flash, con AJAX o con marcos. En cualquiera de los tres casos deberá alterar la programación para identificar cada página distinta con una dirección URL distinta y única. Sólo así podrá tener más oportunidades de que las distintas páginas de su web aparezcan en los resultados a distintas búsquedas.

3. Las piedras que me ayudan a cruzar el río: enlaces rastreables

Los enlaces son para los robots de los buscadores como las piedras en mitad del río para el excursionista. Éste las necesita para pasar a la otra orilla y los robots necesitan a los enlaces para llegar a la siguiente página. Cualquiera de los medios usados en el punto 1 nos servirá para ver los enlaces rastreables, aquellos que los robots seguirán para continuar rastreando contenidos. En la versión caché los veremos como texto azul subrayado, mientras que en el simulador de araña ocupará una sección concreta del análisis.

Si al buscar “site:www.midominio.com” en el punto 2 encontraba pocas páginas de su sitio listadas, también puede deberse a que los enlaces de sus páginas no son rastreables, por lo que debería aplicar a su página un simulador de robot para comprobarlo. En caso necesario, sustituya los menús desplegables programados con JavaScript o Flash por enlaces HTML normales, o bien duplique los enlaces más importantes en una línea de enlaces situada en el pie de página. De esa forma se asegurará de que los robots pueden saltar de una página a otra de su web y podrán indexar todas ellas.

4. Cuidado con los contenidos saltarines: ventanas pop-up

Es todavía muy habitual en los comercios electrónicos: navegamos por las secciones, llegamos a la familia de productos, consultamos una ficha de producto y, eh voilá, se abre en una nueva ventana más reducida y sin controles de navegación. Las fichas de producto es la información más valiosa de cualquier web. Al abrirla en una nueva ventana de esta forma corremos el riesgo de que la apertura de la nueva ventana sea interceptada por los bloqueadores que existen en múltiples navegadores.

Por otro lado, y lo que es más importante, impedimos también que los robots lleguen a estas páginas valiosas, ya que los enlaces que abren estas páginas no son normalmente rastreables. Se trata de enlaces programados con JavaScript que pueden plantear problemas a los buscadores. Si este es su caso, la solución es integrar las fichas de producto en el diseño general de su sitio web de forma que sean simplemente una página más, sin necesidad de abrirlas en nueva ventana.

5. Miedo a las profundidades: arquitectura de la información

Los robots de los buscadores consideran normalmente que la página home de un sitio web es la más importante del sitio, y que el nivel de importancia va disminuyendo conforme aumenta la distancia en clicks de ella. El proceso de indexación comienza así por las páginas que ocupan los primeros niveles y cuesta más que llegue a las páginas que tienen pocos enlaces entrantes o están en los niveles más profundos de la navegación.

Es por ello importante diseñar arquitecturas de la información con pocos niveles de profundidad, que evoluciones más horizontal que verticalmente. Y establecer itinerarios de navegación alternativos para los buscadores que permitan aflorar páginas internas a pocos clicks de la página home. Podemos hacerlo con apartados de enlaces relacionados, lo más buscado, productos destacados, etc.

6. Impacta a los usarios y deja indiferente a los buscadores: Flash, Silverlight…

A pesar del tiempo que lleva presente en la Red la tecnología Flash todavía presenta múltiples problemas para los buscadores. En general, la mayoría de contenidos realizados con estas tecnologías llamadas Rich Media son difíciles de indexar para los buscadores y, dependiendo de la forma en que está programada la web, puede suponer que ninguno de nuestros contenidos sea rastreado.

De momento, no hay más alternativa que programar una versión alternativa en HTML que contenga suficiente contenido indexable y que, a nivel de usuario, pueda ofrecer los enlaces para dirigirse al contenido Rich Media, pero que cumpla con los requisitos que marcan los buscadores para una buena indexación.

7. Los marcos, mejor para las obras de arte

En la época en que el ancho de banda era un bien escaso, el empleo de marcos estaba plenamente justificado. Las páginas se dividían entre elementos fijos como navegación, cabecera, pie de página, etc. y dinámicos, como área de contenido. Las distintas secciones se programaban en marcos de forma que, una vez cargado un sitio web concreto, sólo tuviera que “viajar” la parte que variaba: la página que ocupaba el marco de contenido. Este tipo de páginas son fáciles de identificar porque contienen controles de desplazamiento vertical u horizontal (scroll) que no ocupan toda la ventana del navegador.

Una web programada con marcos (frames o iframes) presenta muchos problemas de indexabilidad: los buscadores muchas veces no pueden rastrear el contenido del marco. La dirección URL en este tipo de sitios web generalmente no cambia. E, incluso cuando las páginas de los marcos son indexadas, se corre el riesgo de que el usuario, que hace click en ellas como resultado, se encuentre en una página “huérfana” que se abre en su navegador separada de su estructura de marcos correspondiente y, por tanto, sin navegación, cabecera, pie de pagina, etc.

El creciente uso de la banda ancha hace injustificable en la mayoría de ocasiones el empleo de marcos. Dados los problemas de indexabilidad que plantean, se recomienda transformar una estructura de marcos en páginas individuales que integren todos los elementos.

8. Páginas que juegan al escondite: buscadores internos

En muchos grandes portales, como los de medios de comunicación o inmobiliarios, existe una cantidad de contenidos mucho mayor que la que es posible enlazar desde los distintos menús de la página home o cabeceras de sección. Estos portales recurren al uso de buscadores internos para que los usuarios puedan filtrar los contenidos y acceder a las páginas que les interesan. Sin embargo, los buscadores no pueden rellenar formularios de búsqueda con criterios distintos para llegar a estos contenidos.

Esto provoca que una parte muy significativa de estos contenidos no se indexe. La solución pasa por crear agrupaciones de contenidos que, a través de enlaces, permita una navegación hacia cada uno de los contenidos bajo distintos criterios. En ocasiones, esta estructura de navegación se parecerá a un directorio, en el caso de un portal inmobiliario, o a un calendario, en el caso de un medio de comunicación. En cualquier caso, la estrategia para garantizar la indexabilidad pasa por la creación de itinerarios alternativos de navegación mediante enlaces indexables para los buscadores.

9. ¿De qué van estas pesadas?

En los primeros años de los buscadores, se recomendaba que las páginas no fueran muy pesadas, es decir, que su tamaño de archivo no fuera excesivo, para garantizar que los buscadores llegarían a indexar todo el contenido de la página. En la actualidad, esta recomendación tiene menos sentido ya que la evolución de los buscadores permite que podamos soslayar este tipo de limitaciones.

No obstante, sigue siendo una buena regla mantener el tamaño de archivo tan reducido como sea posible, sin código basura y tan conforme a los estándares definidos por W3C como sea posible. Esto garantizará que los buscadores lo rastreará correctamente y tendrá, además, varios efectos colaterales muy beneficiosos. En primer lugar, una página muy extensa tiene muchas posibilidades de ser difusa en su contenido: hablará de varias cosas distintas. Este tipo de página se posiciona peor que las páginas claramente enfocadas sobre un tema. Por otro lado, al reducir el tamaño del archivo hacemos más ágil la navegación de los usuarios por el sitio web, lo que redunda en una experiencia más positiva.

10. Pongamos orden: dominios, subdominios y subdirectorios

De acuerdo. Su empresa es global, atiende muchos mercados y en muchos idiomas.¿Cómo debería estructurar su web desde el punto de vista de la indexabilidad? Veamos cuáles podrían ser unas recomendaciones generales:

Los buscadores premian a los sitios web del mismo país, así que si actúa en varios países distintos, podría ser interesante adquirir los dominios con extensión de país de cada mercado en los que actúa: midominio.es, midominio.co.uk, midominio.fr, etc.

Si no se dirige a países distintos, pero sí tiene contenidos en idiomas diferentes, podría ser apropiado agruparlos en subdominios, del tipo: english.sudominio.com, francais.sudominio.com, etc.

Si lo único que le preocupa es estructurar bien las secciones de su web, entonces lo obvio es emplear los subdirectorios: www.sudominio.com/seccion1, www.sudominio.com/seccion2, etc.

11. Se ha equivocado de ventanilla: los redireccionamientos

En ocasiones, habrá adquirido los dominios en otros países sólo para evitarse problemas con competidores desleales o con vistas a una posible expansión futura.¿Cuál es la forma más adecuada de enviar el posible tráfico que se pueda generar en esos dominios hacia su dominio principal?¿Haciendo que todos ellos apunten a la misma IP que el dominio principal? Desde el punto de vista del usuario puede no haber diferencia, pero desde la perspectiva de los buscadores, es mejor programar un redireccionamiento permanente 301 desde cada uno de estos dominios hacia el principal. Este mensaje de redireccionamiento permanente comunica en un lenguaje que los buscadores pueden entender, que estos dominios de momento no tienen contenido y que, en realidad, el dominio principal es hacia el que se redirige la visita.

En la Red existen múltiples analizadores de cabeceras HTTP con las cuales usted mismo puede comprobar cómo responden sus dominios. Su dominio principal debería responder con un mensaje 200 OK, mientras que sus dominios redirigidos deberían responder con un mensaje 301.

12. De los errores también se aprende: una página 404 eficaz

En un sitio web dinámico, con actualización frecuente de múltiples contenidos, es frecuente que, antes o después, un enlace termine apuntando a una página inexistente. Incluso si su web cuenta con algún tipo de control para detectar la existencia de enlaces rotos, siempre es posible que algún enlace en otra web o en los buscadores apunte a una página que un buen día pensó que ya no necesitaba. En estos casos, los servidores suelen devolver un mensaje genérico de error con el código 404, que indica que esa página no existe.

Este mensaje genérico se puede personalizar de forma que el servidor devuelva una página correctamente maquetada con el diseño corporativo y que informe igualmente de que el contenido demandado ya no existe. No obstante, existen poderosos motivos para el usuario y para los buscadores por los que además de dicho mensaje de error debería añadir también un pequeño directorio de enlaces con vínculos que apunten hacia los principales grupos de contenido del sitio. Sus usuarios interpretarán esto como: “De acuerdo, la página que buscaba ya no existe, pero esto es lo que tenemos que ofrecerle para que siga con nosotros y pueda continuar con su visita.” Y los robots de los buscadores tendrán nuevas “piedrecitas” para seguir saltando a nuevos contenidos que indexar en su web. En ambos casos, su web saldrá ganando.

13. Si se pierde, lo mejor son los mapas: el mapa del sitio

A pesar de que solemos leer los libros de un modo secuencial, de principio a fin, es indudable que el índice juega un papel fundamental a la hora de relocalizar ciertos contenidos más tarde. El índice es, por un lado, un gran esquema que recoge de modo resumido y claro todos los contenidos del libro y, por otro, una forma de saltar a cierto contenido concreto a través del número de página. De forma similar, el mapa del sitio permite ver en una única página el esquema completo del sitio web en el que estamos, y nos permite, a través de sus enlaces, “saltar” rápidamente hacia cierto contenido sin tener que emplear el menú de navegación. El mapa del sitio es, pues, muy útil para los usuarios.

Pero también es muy interesante desde el punto de vista de la indexabilidad. Los menús de navegación sólo permiten tener unas pocas –generalmente, menos de diez- opciones en el menú principal. A partir de estas pocas opciones, mediante submenús, menús desplegables, etc. podemos acceder a los contenidos siguientes. Esto aumenta la distancia en clicks de ciertos contenidos respecto a la página principal, lo que, como ya hemos visto, dificulta su indexación. El mapa del sitio permite mostrar, en una sola página, un número mucho mayor de enlaces que se encuentran a un solo click de la página principal. Esto permite una mejor circulación del jugo de popularidad desde la página home a las internas y que la circulación del robot de los buscadores por su sitio web sea mucho más fácil.

14. A salvo de robots indiscretos: el archivo robots.txt

Todo lo que llevamos dicho es para garantizar que los buscadores podrán indexar todos los contenidos de nuestra web. Pero¿qué podemos hacer si precisamente queremos lo contrario, que no indexen ciertos contenidos? Existe un tipo de archivo especial llamado robots.txt en donde de forma sencilla podemos especificar qué áreas, subdirectorios o archivos de nuestra web no deberían ser indexados por los buscadores.

Es importante programar adecuadamente este archivo sobre todo en los sistemas gestores de contenido (CMS) que lo generan de forma automatizada, ya que puede darse el caso de que accidentalmente se incluyan como no indexables áreas que sí deberían ser rastreadas.

15. Pásame una lista: el archivo sitemap

Por último, nombraremos otro tipo de archivo especial, se trata del archivo sitemap, que suele ser un fichero con código XML invisible para los usuarios pero que los buscadores consultarán para descubrir todas las páginas de su web que queremos que indexen. Existen múltiples herramientas en Internet para generar fácilmente el código de este archivo. Una vez generado y subido al servidor, podemos darlo de alta en los buscadores mediante la interfaz de herramientas para el webmaster de Yahoo! o de Google, o introduciendo una simple linea “sitemap:http://www.midominio.com/misitemap.xml” en el archivo robots.txt, para Live Search.

En grandes portales, el empleo del archivo sitemap puede ser la estrategia más eficaz para conseguir altos niveles de indexación.

Con todo a la vista

El objetivo de la indexabilidad es garantizar que una web aprovecha todo su potencial de generación de tráfico. Para ello, se debe asegurar que todos y cada uno de sus contenidos han tenido la oportunidad de ser indexados por los buscadores. Eso significa que se ha rastreado todo el texto, que se han identificado correctamente las categorías de búsqueda donde deben aparecer y que, en la medida de lo posible, su relevancia es mayor que la de los contenidos homólogos de otros sitios web con los que competirán en las páginas de resultados de un buscador. Piense que cada página de su web es como un anzuelo esperando en el mar de los buscadores: si sólo tiene una página indexada, sólo tiene un anzuelo. Si tiene unas pocas páginas en los índices, es como si tuviera varios anzuelos esperando la presa. Si todas las páginas de su web están indexadas, su web será como una red de arrastre: estará aprovechando todo su potencial de generación de tráfico. Aplique estos quince puntos y seguro que su web se parecerá más a esa red de arrastre de potenciales clientes.