Portada cPanel Crear un Archivo Robots.txt para que los Buscadores no Indexen nuestra Web
Posiblemente lo primero que pienses al leer el titular sea: «¡Estos de Hostinet se han vuelto locos¡ ¿Por qué no iba a querer yo que los buscadores indexen mi página web?» Los tiros no van por ahí, nosotros si queremos que tu web se indexe correctamente para que el SEO (posicionamiento en buscadores) la haga crecer, sin embargo, el tema no va por ahí, sino que puede darse el caso que no queramos que los buscadores indexen nuestra web porque, por ejemplo, la estamos construyendo todavía y puede contener errores o cosas que no queremos que Google u otros motores de búsqueda indexe por el momento, con lo cual la mejor opción es hacer que no se indexe hasta que todo esté bien.
Es cierto que, por ejemplo, en WordPress podemos indicar que los buscadores no le hagan mucho caso a nuestra web, pero sinceramente esta opción no vale de mucho, ya que los buscadores seguramente la van a indexar si les apetece, por lo que no es una opción muy fiable dentro de lo que cabe.
Dicha opción en WordPress se encuentra en Ajustes -> Lectura, pero como se puede comprobar ya se indica en la misma que muy útil no «parece» que sea: «Depende los motores de búsqueda atender esta petición o no». Teniendo en cuenta que los buscadores indexan todo lo que encuentran por el camino se van a saltar esta opción muy a la ligera, aunque hay una minoría que dice que si le ha resultado útil esta opción… por lo que se puede activar si queremos también.
En fin, el caso es que hoy os vamos a indicar una alternativa para que los buscadores no indexen nuestra web y que funciona al 100%. Esta nueva opción a los que nos referimos, simplemente consiste en crear un archivo de texto en la raíz de nuestro hosting (o donde hayamos instalado nuestro CMS: WordPress, Joomla, PrestaShop, ect) y lo llamamos robots.txt, dentro de dicho archivo sería incluir las siguientes dos líneas:
1 User-agent: * 2 Disallow: / (en caso de estar en un directorio el CMS debemos ponerlo tras la /, por ejemplo, Disallow: /wordpress
Captura de pantalla a continuación:
Decimos lo de donde hayamos instalado el CMS porque no tenemos por qué haberlo instalarlo en la raíz de nuestro hosting, sino que hemos podido instalarlo en un directorio de prueba distinto al que se encuentra en la raíz de nuestro alojamiento web para luego pasar la web a la carpeta de public_htlm/ (en el caso de servidores LAMP) o de httpdocs/ (en caso de servidores Windows)
Tras ello guardamos el archivo y seguimos desarrollando nuestra web, ahora sí, sin que los buscadores indexen todavía lo que estamos creando en ella.
Si tenemos un Hosting web con Hostinet podemos crear de forma muy sencilla el archivo robots.txt desde cPanel -> Administrador de Archivos.
Recordemos que para acceder al panel de gestión cPanel, basta con poner en nuestro navegador web nuestrodominio.es/cpanel
Una vez dentro del mismo, hacemos click en «Administrador de Archivos» dentro del primer bloque de cPanel (Archivos).
Dentro del Administrador de Archivos le damos a «+ Archivo» (al pasar el ratón por encima de esta opción aparecerá «archivo nuevo»), arriba del todo a la izquierda, tal y como se refleja en esta imagen:
En la nueva pantalla, escribimos «robots.txt» y le damos a crear dicho archivo.
Tras la creación del archivo, lo buscamos en public_html y le damos a «edit»
Le volvemos a dar a «edit» en la ventana que nos aparece e introducimos en la opción de código de arriba del todo a la derecha (utilice el editor de código)
las siguientes dos líneas:
Y por último, sería hacer click en «Guardar cambios», de nuevo ubicado arriba del todo a la derecha del administrador de archivos.
Si tenemos un Plan Windows con Hostinet podemos crear de forma muy sencilla el archivo robots.txt desde Plesk -> Administrador de Archivos.
Recordemos que para acceder al panel de gestión Plesk, basta con poner en nuestro navegador web nuestrodominio.es:8443
Una vez dentro del mismo, hacemos click en «Administrador de Archivos» o en «httpdocs». Marcamos ambas opciones en la siguiente captura de pantalla:
Dentro del Administrador de Archivos le damos a «Nuevo» y hacemos click en «Crear Archivo».
En la nueva pantalla, escribimos «robots.txt» y le damos a «Aceptar».
Tras la creación del archivo, lo buscamos en httpdocs y hacemos click con el botón izquierdo del ratón sobre él. Entonces antes nosotros se presentará una pantalla en la que deberemos escoger, abajo del todo, la opción de «Editar en un editor de código».
Al hacerlo, tan sólo nos quedará introducir las siguientes dos líneas y hacer click en «Aceptar»:
Como es obvio, cuando queramos que los buscadores indexen nuestro contenido bastará con eliminar el archivo robots.txt.
En el caso de tener un WordPress podríamos cumplimentar el borrado del archivo .txt con la instalación de algún plugin SEO que permita que nuestra web se indexe mucho mejor en los buscadores. Nuestra recomendación desde Hostinet es que instaléis el Plugin Yoast SEO.
En Hostinet trabajamos desde hace más de 15 años con servidores ubicados en España (Madrid).
Disponemos de servidores LAMP (Linux + Apache + MySQL + PHP) con panel de control cPanel incluido bajo estos planes de hosting web ¡Somos expertos en cPanel!: