In data 28 luglio 2015 molti webmaster, me compreso, hanno ricevuto una email in Google Search Console (in passato chiamato Webmaster Tools) che recitava quanto segue:
"Di recente, i sistemi di Google hanno rilevato un problema con la tua home page che influisce negativamente sulla visualizzazione e sull'indicizzazione dei tuoi contenuti da parte dei nostri algoritmi. Nello specifico, Googlebot non può accedere ai tuoi file JavaScript e/o CSS a causa delle limitazioni del tuo file robots.txt. Questi file aiutano Google a comprendere se il tuo sito web funziona correttamente, pertanto bloccare l'accesso a questi asset può causare ranking inferiori a quelli ottimali."
Si tratta di una conseguenza di una nuova politica di Google in merito alla valutazione del layout grafico dei nostri siti web, infatti, già a Gennaio 2015 in molti avevamo ricevuto un messaggio che ci avvertiva dell'importanza che la grafica "responsive", cioè adattabile ai dispositivi mobili, avrebbe avuto in futuro per il posizionamento dei contenuti nei risultati di ricerca.
Tutti ci affannammo a ristrutturare i layout grafici per renderli mobile-friendly, cioè amichevoli con i dispositivi mobili quali smartphone e tablet, mentre ora Google ci chiede di più... desidera analizzare approfonditamente la grafica dei nostri siti per valutare se veramente quegli adattamenti fatti in passato aiutano gli utenti di cellulari e tablet a fruire correttamente dei nostri contenuti.
Il problema nasce dal fatto che molti di noi utilizzano dei CMS (nel mio caso Joomla) per gestire i propri siti; questi software (joomla, wordpress, drupal, ecc.) hanno alcune funzionalità automatizzate e tra queste c'è la gestione dei permessi da assegnare ai motori di ricerca circa le cartelle analizzabili all'interno del dominio web.
Joomla per esempio blocca l'accesso a determinate cartelle impedendo a Google la scansione dei file CSS (Cascading Style Sheet) e JS (JavaScript).
Per risolvere il problema dobbiamo modificare il file robots.txt presente nella cartella principale del nostro sito in modo che esso non blocchi più determinate cartelle; di seguito vi illustrerò come fare su un sito Joomla.
Innanzitutto bisognerà collegarsi al proprio dominio web utilizzando il protocollo FTP e dunque un programma come FileZilla, nella root del sito sarà visibile il file robots.txt che bisognerà trascinare sul proprio desktop per aprirlo con il Blocco Note di Windows.
In questo file ci sono una serie di istruzioni "Disallow" che vuol dire "non consentire", se tra queste ci sono delle righe che si riferiscono alle cartelle templates, media e images, queste righe andranno cancellate.
Dopo aver ricaricato il file robots.txt online sovrascrivendo l'originale, sarà necessario andare a controllare in Google Search Console quali altre cartelle vanno "liberate dal blocco". Per far questo si dovrà usare il comando Scansione-Visualizza come Google (presente in Google Search Console), cliccando il comando recupera e visualizza e poi il comando parziale che apparirà dopo qualche secondo di attesa... questa operazione va ripetuta per più pagine campione e non solo per la home page, cercando di prediligere le pagine che contengono componenti, moduli e plugin particolari.
Scopriremo che Google non riesce ad accedere a determinate cartelle, probabilmente sottocartelle di "components", "plugins", "modules", ecc.
Non potendo cancellare le righe "Disallow" relative alle cartelle succitate, dovremo aggiungere delle righe "Allow" cioè "consenti" relativamente alle sottocartelle che Google stesso ci avrà indicato.
A titolo di esempio inserisco una immagine che illustra le modifiche apportate su un sito con installati alcuni famosi componenti e plugin, notate come le istruzioni "allow" delle sottocartelle sono state poste in maniera da precedere le istruzioni "disallow" delle rispettive cartelle principali.
Si consiglia al termine della modifica di ripetere il test "recupera e visualizza" su Google Search Console.
Per i meno esperti di voi consiglio di valutare l'iscrizione al mio Corso Joomla.
