16 abr. 2013

Qué es y cómo se utiliza el archivo Robots.txt

Como parte de la interacción de nuestro sitio web o blog con el buscador, hay dos archivos que son fundamentales, el sitemap que vimos aquí y aprendimos a gestionar aquí y el que ahora vamos a abordar conocido como "robots.txt".

Mientras que el sitemap permite dar a conocer al buscador la estructura de información de contenidos que alojamos en nuestro sitio web o blog, el archivo robots.txt se centra en controlar qué páginas pueden rastrear los robots de los diferentes buscadores que "pasan" por nuestro sitio web.

Si siempre ha suscitado tu curiosidad este archivo o no conocías su exsitencia, es posible que este artículo te ayude a entenderlo mejor.


QUÉ ES UN ARCHIVO ROBOT.TXT Y CÓMO INTERACTÚA CON EL BUSCADOR


Los robots rastreadores de los diferentes buscadores recorren nuestros sitios para añadir a sus correspondientes índices las nuevas entradas, páginas, imágenes y componentes que utilizamos en nuestro sitio web. Por medio del archivo robots podemos evitar que estos rastreadores incorporen páginas que no deseamos que se añadan al índice. A priori, parece un "sin sentido" no querer que estén todas nuestras páginas listas para servir en los resultados del buscador, pero en realidad es absolutamente necesario cuando queremos evitar que se produzcan duplicidades en la información añadida al índice o, simplemente, impedir el acceso a ciertos directorios donde tengamos información que no deseamos "indizar" o por la que no deseamos "ser encontrados".

Hay que dejar claro, que el archivo robots es perfectamente accesible desde el navegador y por tanto, susceptible de ser alterado utilizando métodos avanzados a tal propósito. Podéis comprobar que poniendo la URL de vuestro sitio web o blog "/robotos.txt", el navegador tratará de descargarse dicho archivo para mostrároslo en pantalla.

PRECAUCIONES A TENER EN CUENTA:

Es extremadamente importante no tocar estos archivos innecesariamente y sólo con el conocimiento adecuado de lo que se hace, pues podemos por error excluir por completo del motor de búsqueda a nuestro sitio web o blog. Blogger crea uno por defecto que está bien tal cual se presenta, no necesita modificaciones. Lo fundamental es buscar la forma en que protejamos lo que nos interesa sin impedir que se acceda al contenido que ofrecemos, cualquier error aquí puede suponer un problema para que los usuarios del buscador nos encuentren. 

EJEMPLOS DE ARCHIVO ROBOTS.TXT EN BLOGGER PARA COMPRENDER SU FUNCIONAMIENTO:

El archivo robots.txt es un texto "plano" perfectamente editable por medio del Notepad o cualquier otro editor del cual dispongamos para realizar las modificaciones que estimemos oportunas. Viendo estos ejemplos podemos llegar a comprender parte de los conceptos básicos que conforman la construcción de esta clase de archivos.


EJEMPLO 1 de contenido de un Robots.txt
User-agent: *
Disallow:
Siempre suele comenzarse con la palabra clave "User-agent" que especificará el nombre del rastreador al que daremos acceso o, por el contrario, decidamos denegárselo. Si utilizamos como en el ejemplo "User-agent: *", al emplear el carácter comodín "*" estamos indicando que la sentencia que a continuación introduzcamos aplica para todos los robots rastreadores. A continuación como aparece "Disallow:" y no hay ningún directorio o "/" especificado, estamos indicando que todos los robots ("User agent: *") pueden acceder a todo el contenido de nuestro sitio web o blog ("Disallow:").

EJEMPLO 2 de contenido de un Robots.txt
User-agent: NOMBRE_BOT #
Disallow:
User-agent: *
Disallow: /
En este otro ejemplo, "User-agent: NOMBRE_BOT #" indica que vamos a establecer normas de trabajo para sólo el robot con el nombre que pongamos a la derecha de la sentencia User-agent. A continuación "Disallow:" indica que el robot indicado en User-agent tiene acceso completo para rastrear toda la información al índice. A continuación "User Agent: *" está especificando que se va a aplicar una regla para todos los robots. Al encontrarse bajo otra sentencia "User Agent" anterior, no afecta a la anterior norma ya establecida. El "Disallow: /" que aparece bajo "User-agent: *", indica que todos los demás robots que accedan para rastrear que no sean el robot autorizado en el primer bloque de sentencia ("User-agent:*"), no tendrán acceso a ningún directorio del sitio ("Disallow:/").

CÓMO EDITAR ROBOTS.TXT EN TU BLOG DE BLOGGER

Dentro de tu panel de control Blogger, accede en el menú de la izquierda a la opción "Configuración" y posteriormente a "Preferencias para motores de búsqueda". En la pantalla mostrada nos vamos a la sección inferior llamada "Rastreadores e indexación" y ahí podemos realizar la edición del archivo robots.txt



PROBAR TU ROBOTS.TXT

Si realizas cambios en tu Robot.txt no dudes en utilizar las herramientas para webmaster de Google y su función "Probador de Robots.txt" para localizar posibles errores o avisos con el que estás trabajando. En la parte inferior te muestro una pantalla de esta magnífica utilidad que te ayudará a resolver todos los problemas con tu archivo robots.txt


EN DEFINITIVA

Otro fichero necesario para conocer a fondo las interacciones del buscador con nuestro sitio web o blog. Permite evitar el acceso a los robots rastreadores de los buscadores para acceder a información que no deseamos añadir al índice: evitando duplicidades innecesarias en el índice, accesos a zonas que deseamos mantener "protegidas" o incluso consiguiendo que no nos busquen por determinados conceptos que no deseamos (aquellos que puedan estar en directorios que deseamos excluir por cualquier razón de las búsquedas públicas). Así mismo, ayudará al buscador a saber por dónde debe mover sus robots rastreadores para analizar y añadir al índice la información.



Como siempre, si tenéis alguna duda o inquietud utilizad los comentarios y la atiendo en cuanto me sea posible.

Escrito por Miguel García Sánchez - Colomer

Dispuesto a ayudarte con tu Blog en todo lo posible, Diarios de la nube es mi medio para llegar hasta ti. El conocimiento es universal, es del mundo, es de todos, esta es mi parte y la comparto contigo.

44comentarios:

  1. Muy buen aporte, sigue así toda esta información es necesaria para dar a conocer con seguridad lo que publicamos para nuestros seguidores. un saludo amigo.

    ResponderEliminar
  2. Gracias, me anima a seguir escribiendo, a veces resulta agotador. Un saludo y muchas gracias de nuevo.

    ResponderEliminar
  3. Tu blog es espectacular! uno de mis blogs de referencia

    ResponderEliminar
  4. y si trabajas con un dominio propio pero utilizando la plataforma wordpress cómo se puede mejorar este aspecto? porque a pesar de tener plugins instalados para mejorar el SEO acabo de pasarle el woorank y me dice que no tengo el robots.txt

    ResponderEliminar
  5. El archivo robots reside en el directorio raíz de tu blog. Puedes crear uno con una web online que te genere el robots.txt y luego lo puedes subir al directorio raíz.

    ResponderEliminar
  6. Hola Miguel, estoy en problemas, este mes he pasado de casi 3 euros a 20 centimos con adsense y es pq tengo bloqueadas 31 páginas, en las herramientas para webmaster me sale:
    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap: http://amiaireconmigs.blogspot.com/feeds/posts/default?orderby=UPDATED


    No se que hacer, porque a su vez en adsense me dice que no puede acceder al blog, un lío, como no me ayudes tu.....
    El rastreador no ha podido acceder a su página para ver el contenido y mostrar anuncios relevantes. Cuando el rastreador no consigue acceder al contenido, a menudo se muestran anuncios, con lo que la cobertura y los ingresos serán menores, o bien se muestran anuncios que no son relevantes, lo que puede conllevar un CTR más bajo. Siga los enlaces de la columna "Solución" para corregir esos errores y mejorar el rendimiento de AdSense.
    Pero luego no me señala ningún error, en fin , no se, a ver si me puedes ayudar, gracias.

    ResponderEliminar
    Respuestas
    1. Hola Amiaire,
      el robots.txt está correcto. Los bloqueos de páginas que aparecen en webmaster no representan problema alguno con respecto a los ingresos de AdSense. Se trata de bloquear páginas para que no haya duplicidades en los resultados de las búsquedas del buscador. Yo tengo también unas cuantas, no te preocupes por eso.

      Lo que sí hay que revisar es el problema de que los robots de AdSense no puedan analizar tus anuncios.

      Realiza un repaso de este tutorial: http://www.diariosdelanube.com/2013/05/la-publicidad-en-tu-blog-todo-lo.html

      Comprueba que tienes dados de alta los anuncios como explico ahí.

      Verifica estas cuestiones y me vas preguntando las dudas para dejarlo arreglado.

      ¡Un saludo!

      Eliminar
    2. Gracias Miguel, me pongo a ello, no comprendo pq me dice que no puede analizar mis anuncios y luego me dice que no hay errores, voy a mirar tu enlace, gracias.

      Eliminar
    3. Lo he estado mirando, pero no comprendo que tengo que modificar para que el rastreador de Adsense vuelva a entrar en mi blog, leo cosas sobre robots, pero me quedo igual que cuando miro pasar las nubes..........



      Errores del rastreador
      El rastreador no ha podido acceder a su página para ver el contenido y mostrar anuncios relevantes. Cuando el rastreador no consigue acceder al contenido, a menudo se muestran anuncios, con lo que la cobertura y los ingresos serán menores, o bien se muestran anuncios que no son relevantes, lo que puede conllevar un CTR más bajo. Siga los enlaces de la columna "Solución" para corregir esos errores y mejorar el rendimiento de AdSense.
      URL bloqueadas
      Error
      Sin datos

      Eliminar
    4. Creo que donde te está sucediendo son páginas eliminadas (páginas que ya no existen), ¿es así?. Si le das a los enlaces de la columna solución, es posible que esas páginas ya no existan. Si es ese el caso, trata de eliminar los enlaces que van a ellas: http://www.diariosdelanube.com/2013/06/detecta-y-arregla-los-enlaces-rotos-en.html

      Eliminar
    5. Eliminé 3 entradas, puede ser eso, no me muestra ningún enlace en la columna solución, de hecho no aparece columna solución, solo aparecen las columnas URL bloqueadas y Error, pero no muestran nada, voy a mirar tu enlace, gracias.

      Eliminar
  7. Acabo de ver otra perla en la herramientas para webmaster........................

    Googlebot no ha podido acceder al archivo robots.txt y ha pospuesto el rastreo del sitio en vez de arriesgarse a rastrear páginas no autorizadas. Para obtener más información, consulta esta página.

    ResponderEliminar
    Respuestas
    1. Ésta es la página...........................pero creo que está en chino..
      Fallo del archivo robots.txt

      Antes de rastrear tu sitio, Googlebot accede a tu archivo robots.txt para determinar si este impide que Google rastree algunas páginas o URL. Si tu archivo robots.txt existe pero no se puede acceder a él (es decir, no devuelve un código de estado HTTP 200 ni 404), pospondremos el rastreo en vez de arriesgarnos a rastrear URL no autorizadas. Cuando esto ocurra, Googlebot volverá al sitio y lo rastreará tan pronto como se pueda acceder correctamente al archivo robots.txt. Para obtener más información sobre el protocolo de exclusión de los archivos robots.txt, consulta esta página.

      (Solo necesitas un archivo robots.txt si tu sitio incluye contenido que no quieres que indexen los motores de búsqueda. Si quieres que los motores de búsqueda indexen todo el contenido del sitio, no necesitas un archivo robots.txt, ni siquiera uno vacío. Si no tienes un archivo robots.txt, el servidor devolverá un mensaje 404 cuando Googlebot lo solicite y se seguirá rastreando el sitio normalmente).

      Eliminar
    2. El caso es que tengo esto 4 puntos verdes en optimización de ingresos y un 90% de descenso en ingresos respecto al mes pasado.

      Eliminar
    3. Dame tu URL y veo qué puede estar sucediendo. ¿Has tocado el archivo robots.txt?.

      Comprueba que:

      - En Blogger en "Configuración" y después en "Preferencias para motores de búsqueda" tienes la opción "Archivo robots.txt personalizado" en "[inhabilitado]" y en "Etiquetas de encabezado de robots personalizadas" lo tienes en "[inhabilitado]".

      Pásame la URL también. Un saludo!

      Eliminar
    4. Tengo las dos inhabilitadas, aunque en la primera en su día puse.................................
      User-agent: Mediapartners-Google
      Disallow:

      User-agent: *
      Disallow: /search
      Allow: /
      Ésto último sigue saliendo en ..................

      URL bloqueadas

      Si tu sitio incluye contenido al que no quieres que accedan Google ni otros motores de búsqueda, utiliza un archivo robots.txt para especificar cómo deben rastrear el contenido del sitio los motores de búsqueda.
      Comprueba si tu archivo robots.txt funciona según lo esperado. No se guardará ningún cambio que realices en el contenido de robots.txt que se muestra a continuación.
      Archivo robots.txt


      http://amiaireconmigs.blogspot.com.es/


      Gracias.

      Eliminar
  8. mi blog es aún un bebé. y estoy tratando de seguir tus guías. muy buenas todas por cierto, pero me surgen dudas por todas partes. Mi pregunta sobre este tema es: ahora mismo no sé que puede resultar mal para mi blog, no creo que tenga nada que no quiera que se pueda encontrar (o no lo sé, si me das un ejemplo de cosas q la gente oculta tal vez crea que tengo yo también que tapar algo a la vista de los robots). Uso blogger. Y lo que quiero saber es si debo hacer algo con los robot o dejarlos tal como están

    ResponderEliminar
    Respuestas
    1. Si tu robot es el de Blogger, está perfecto como está, en él no hagas cambios. Te viene bien conocer cómo funciona más que nada, pero deja por defecto el que trae Blogger. Un saludo!

      Eliminar
  9. pongo esto en la opción Archivo robots.txt personalizado, ¿es así verdad?
    User-agent: NOMBRE_BOT #
    Disallow:
    User-agent: *
    Disallow: /

    ResponderEliminar
    Respuestas
    1. Hola,
      Si vas por Blogger no es necesario personalizar el robots.txt porque el que te pone por defecto es correcto.

      Si quieres ponerlo personalizado, copia la estructura del mío cambiando direcciones fijas si es que aparecieran en su interior.

      Un sale!!!

      Eliminar
  10. Hola, en primer lugar te felicito por tu trabajo con este blog. Da gusto encontrar gente desinteresada que nos ayude a los que no dominamos este mundillo. Verás, estoy siguiendo esta guía para que mi blog aparezca en las búsquedas de google y esta mañana he recibido un correo diciendo que googlebot no puede acceder a mi sitio. Hasta ahora, si busco el blog como "grup de danses de xixona" (que es lo que me interesa) no lo encuentra. En cambio, si escribo "grupdedansesxixona" si que lo encuentra. Me estoy volviendo loco y no se donde está el error.
    El archivo robots.txt lo tengo tal cual dices que debe de estar. Es curioso que esta mañana en el trabajo lo he buscado (por si los cambios que hice el fin de semana con tu guía habían funcionado) me ha aparecido en la segunda página de la búsqueda, y usando Bing me aparecía el primero. Más tarde lo he vuelto a probar y ya no aparecía. No sé, flipo en colores.
    Te estaría muy agradecido si me pudieras ayudar para dejar todo en orden.

    grupdedansesxixona@blogspot.com

    Un saludo,
    Santiago.

    ResponderEliminar
    Respuestas
    1. Hola!,
      es que hay muchas formas en las que Google puede llegar a detectar tu Blog como opción para los resultados de búsqueda. El caso es que es posible que no tengas una descripción o un nombre en la configuración de Blogger que indique así tu dirección.

      Es importante que revises la entrada sobre SEO en particular que puede ayudarte a ganar una presencia real en Internet: http://www.diariosdelanube.com/2013/09/aprende-practicar-seo-y-mejorar-el.html Esta es para que realices una parte cada semana o cada día, dependiendo del tiempo que tengas disponible, para ir con calma aplicándola poco a poco y notar resultados a largo plazo.

      En cuanto a cómo podrías salir con la descripción que indicas, dentro de esa guía en particular prueba con esto: http://www.diariosdelanube.com/2013/06/aprende-escribir-la-descripcion-de-tus.html y ten en cuenta que todo depende de los cálculos que realice el buscador para entender qué es más relevante en el resultado.

      Prueba con la descripción, date de alta correctamente en las herramientas para webmaster de Google (como te viene en la guía SEO o en su propia guía específica aquí en Diarios de la nube) y paciencia, que al final todo sale.

      Cualquier cosa por aquí estoy.

      Un saludo!,

      Eliminar
  11. Hola, en primer lugar te agradezco tu respuesta.
    El nombre y la descripción los tengo puestos y la entrada sobre SEO ya la leí y realicé todos los pasos antes de enviarte el anterior comentario, aunque no estoy seguro de haberlo hecho todo bien. Me sigue dando el error "Google no ha podido rastrear tu sitio porque no hemos podido acceder al archivo robots.txt del sitio", aunque el probador me dice que no tengo errores. También me dice que no tengo ninguna página indexada.
    Creo que hay algo que se me escapa y no se qué es. Si no te importa, me gustaría que le pegaras un vistazo a las herramientas de webmaster del blog por si hay algo que no esté correcto, si no es molestia.

    Otra cosa, cuando puse en marcha el blog tenía ya varias páginas ordenadas con pestañas. ¿Había que hacer algo concreto con ellas?

    Muchas gracias y un saludo.

    ResponderEliminar
    Respuestas
    1. Hola,
      ¿has probado a subir el sitemap a las herramientas para webmasters de Google?. Prueba esta entrada: http://www.diariosdelanube.com/2013/04/utilizacion-del-mapa-del-sitio-en-tu.html

      Un saludo,

      Eliminar
    2. Hola,

      si que tengo el sitemap subido. Tengo los dos, el sitemap.xml y el atom/... En el primero me dice ahora que tengo una página enviada e indexada y en el segundo dos pero si lo miro en estado de indexación no me aparece ninguna.

      El archivo robots.txt lo tengo con /sitemap.xml ¿Lo tengo que cambiar al de atom/...? Si es así, ¿cómo lo tendría que hacer?

      Siento ser tan pesado. Gracias por todo.

      Un saludo.

      Eliminar
  12. Perdona, lo de editar el archivo robots.txt estaba en esta misma entrada. Lo acabo de ver.

    ResponderEliminar
    Respuestas
    1. Hola, no te preocupes.
      Lo de editar el robot no es necesario, deja el que te ponga Blogger por defecto. Otra cosa, el sitemap tarda en actualizarse, no es instantáneo. Si tu Blog tiene poco tiempo puede ser por ello que aún no tenga todo indexado.

      un saludo.

      Eliminar
  13. Hola, parece que el blog va escalando posiciones poco a poco. Ya aparece en la segunda página y a veces en la primera. Se ve que era cuestión de tiempo. También me aparecen 12 páginas indexadas.
    Sigo teniendo el error de que no puede encontrar el archivo robots.txt. Me dice "El servidor ha devuelto un error 5xx (inaccesible) al intentar recuperar el archivo robots.txt." Si clico en el enlace que aparece justo al lado me dice: "Comprueba que el proveedor de alojamiento no bloquee a Googlebot. Si tienes un cortafuegos, asegúrate de que permita acceder a Google."Y ahí ya me pierdo.
    ¿Me podrías ayudar?

    Otra cosa, he estado buscando en tu blog algo relacionado con la usabilidad móvil que aparece en las heramientas de webmaster. Me dice: "Google aún no ha procesado tu sitio. Asegúrate de comprobar todas las variantes del sitio". ¿Qué tendría que hacer?

    Gracias y un saludo.

    ResponderEliminar
    Respuestas
    1. ¿Ves?, ya te comenté que era cuestión de tiempo ;) me alegro mucho que vaya funcionando la cosa.

      Con respecto a los del robots.txt es muy extraño porque yo si accedo con facilidad. Quizás sería bueno que para resolver problemas de rastreo hagas esta guía: http://www.diariosdelanube.com/2014/09/como-detectar-y-solucionar-los-errores.html Con ellos podremos ir descartando problemas porque yo, al menos, si he podido visitar tu robot.txt y lo veo todo correcto.

      Lo que comenta ese aviso es que todavía no ha pasado el Googlebot para analizar tu Blog desde el punto de vista móvil. A priori, si dejas la plantilla para móviles por defecto de Blogger no tendrás ningún problema, eso sí, piénsate el ponerte una buena plantilla responsive: http://www.diariosdelanube.com/2014/02/que-es-responsive-design.html y el tema móvil estará mucho mejor.

      En Google Pagespeed Insights te hacen un buen análisis de usabilidad móvil, pero vamos, en términos generales si utilizas la plantilla para móviles de Blogger no creo que tengas ningún problema.

      Cualquier cosa aquí estoy!

      Eliminar
    2. A pesar de tu ayuda sigo perdido. He repasado varias veces tus guías y no encuentro dónde puede estar el fallo. He detectado que en la búsqueda nunca aparece la página principal con la descripción del blog, sino una entrada. Tampoco aparecen las páginas, aunque con la búsqueda por site:... si las encuentra.
      ¿Qué tendría que hacer para que google encontrara la página principal? Ya te comenté que usando Bing aparece en primer lugar, con su descripción. Quiero centrarme en este tema antes de seguir con otras cosas. ¿Te podría enviar por correo capturas de mi configuración de las herramientas webmaster para ver si algo no está correcto?

      Gracias y un saludo.

      Eliminar
    3. Hola, sigue esta guía para que te funcione la descripción del blog en los motores de búsqueda para las entradas: http://www.diariosdelanube.com/2013/06/aprende-escribir-la-descripcion-de-tus.html (recuerda que no es instantáneo) y esta para el Blog: http://www.diariosdelanube.com/2014/03/como-presentar-la-descripcion-de-tu-web.html (recuerda que no es instantáneo).

      Un saludo,

      Eliminar
    4. Hola, he estado viendo lo de las metaetiquetas y, para variar, no lo tengo claro. Tengo una puesta que, creo recordar, la puse porque lo leí por aquí pero no es ninguna de las que tú indicas. ¿Serías tan amable de echarle un vistazo al código fuente del blog y decirme cuáles tendría que colocar? Siento ser tan pesado, espero que me puedas ayudar.

      Un saludo.

      Eliminar
    5. Hola,
      Blogger te pone las metaetiquetas básicas por defecto, sin necesidad de tocar nada. De todas maneras tienes este post: http://www.diariosdelanube.com/2014/02/las-meta-etiquetas-imprescindibles-en.html

      Un saludo!

      Eliminar
  14. Hola, tengo un problemilla y no sé cómo solucionarlo. Estoy en "Explorar como Google", escribo una de las páginas de mi blog y el resultado es "bloqueada". Voy al probador de robots.txt y me sale: "Disallow: /search".
    ¿Esto es realmente un problema? ¿Se puede solucionar? Gracias!

    ResponderEliminar
    Respuestas
    1. Hola Carol,
      el "Disallow:/search" no bloquea la página para el acceso externo, mi robots.txt lo tiene igualmente. Si es un tema de rastreo, la razón puede ser otra totalmente distinta. Hazte esta guía para solucionar problemas de rastreo: http://www.diariosdelanube.com/2014/09/como-detectar-y-solucionar-los-errores.html

      Y cualquier duda pregunta lo que necesites, es posible que con ella ya te aclare bastantes cosas.

      Un saludo y muchas gracias,

      Eliminar
    2. Muchas gracias. Tengo otra duda: el blog lo tengo sin "www" y con "www". Los pasos de las herramientas para webmasters los he seguido para el sitio sin "www", tengo que hacer los mismos pasos con el otro sitio? Gracias otra vez!

      Eliminar
    3. Si, puedes hacerlos igual, lo que sucede que si ya has validado con tu dirección y por ejemplo la etiqueta HTML verás que ya te sale validado. To tengo los dos, con www y sin www (y marco como preferido el www). Mírate este post (PUNTO 2): http://www.diariosdelanube.com/2014/06/como-evitar-el-contenido-duplicado-en.html

      Un saludo y muchas gracias.

      Eliminar
  15. Hola Miguel, muchas gracias por compartir tus conocimientos y tu tiempo con tus lectores. Lo haces genial!
    Mi problema es que al comprobar el estado de indexación de mi recien nacido blog http://lamalandrinadelantalandco.blogspot.com.es/ , resultan que hay el mismo numero de paginas indexadas que bloqueadas por robots. He mirado en la pestaña Rastreadores e indexación de mi blog y tanto archivo como etiquetas de robots están inhabilitados. Que más tengo que controlar?
    Muchas gracias

    ResponderEliminar
    Respuestas
    1. Hola,
      el bloqueo al que aludes no debe preocuparte, son otros elementos y páginas de tu web que no tienen que ver con tus entradas indexadas por el sitemap (páginas archivadas e información que no es relevante y por ello se alude a ellas como "bloqueada".

      Analizando tu Blog al poner site:lamalandrinadelantalandco.blogspot.com.es se ve al quitar la opción de sacar los resultados omitidos, que hay más páginas indexadas. Todas las páginas indexadas son las que tiene tu Blog para ser localizadas en el índice de Google.

      Prueba de todas maneras este artículo: http://www.diariosdelanube.com/2014/09/como-detectar-y-solucionar-los-errores.html y el dedicado a SEO: http://www.diariosdelanube.com/2013/09/aprende-practicar-seo-y-mejorar-el.html

      Cualquier duda aquí estoy.

      Un saludo!

      Eliminar
  16. Cordial saludo, soy una fan más de tus publicaciones ya que me han ayudado en más de una ocasión, actualmente tuve el error de involucrarme con el ROBOTS.TXT de blog en blogger y digo error porque no sé como funciona y en los buscadores cuando intento colocar el nombre del mi blog aparece esa inconsistencia. Mi blog es este: https://digitalogbook.blogspot.com Agradecería cualquier solución ya que no sé nada y para mí es error porque no me registra como debiera en los buscadores.

    De antemano gracias por la atención prestada

    ResponderEliminar
    Respuestas
    1. Hola Kat,
      si no has tocado el robots.txt original de Blogger, no tienes nada mal en dicho archivo. No lo toques, déjalo configurado por defecto.

      Cuando aparece en los resultados de búsqueda el blog y un mensaje del tipo "bloqueado por robots.txt", es normalmente porque no se ha introducido la descripción del artículo y del blog correctamente.

      Debes utilizar y seguir este tutorial para las descripciones por entrada: http://www.diariosdelanube.com/2013/06/aprende-escribir-la-descripcion-de-tus.html

      Este para la descripción de tu Blog: http://www.diariosdelanube.com/2014/03/como-presentar-la-descripcion-de-tu-web.html donde es fundamental seguir "Para poner la descripción en Blogger debes ir una vez dentro de él al menú de la izquierda, a la opción "Configuración", luego la sub-opción "preferencia para motores de búsqueda" y en la pantalla que sale, donde pone "Etiquetas meta" en Descripción es donde tienes que escribir el texto que la componga."

      Un saludo!

      Eliminar
  17. Gracias por tu respuesta, estuve realizando los pasos y está muy bien explicado, lo que pasa es que en el buscador de Google cuando coloco el nombre del blog me sigue apareciendo el bloqueo de robots.txt. agradecería cualquier tipo de ayuda de ante mano gracias por la atención prestada.

    ResponderEliminar
  18. Gracias por tu respuesta, estuve realizando los pasos y está muy bien explicado, lo que pasa es que en el buscador de Google cuando coloco el nombre del blog me sigue apareciendo el bloqueo de robots.txt. agradecería cualquier tipo de ayuda de ante mano gracias por la atención prestada.

    ResponderEliminar
    Respuestas
    1. Eso no es realmente porque lo esté bloqueando tu archivo de robots. Es porque necesitas colocar e identificar bien la descripción de tu web o de la entrada que sale de tu web en el buscador, para que Google lo entienda bien.

      Sigue los pasos aquí descritos y lo tendrás solucionado:

      - Esto para descripción de tus entradas: http://www.diariosdelanube.com/2013/06/aprende-escribir-la-descripcion-de-tus.html

      - Esto para la descripción general de toda la web: http://www.diariosdelanube.com/2014/03/como-presentar-la-descripcion-de-tu-web.html

      Sigue las instrucciones explicadas en los enlaces que te he pasado.

      Cualquier duda, aquí estoy.

      Eliminar

 

© 2015 Por: Miguel García Sánchez - Colomer en Diarios de la nube Todos los derechos reservados.