Come testare il file robots.txt su Search Console e controllare se un URL è stato bloccato.

Ricordo che il file robots.txt è quello che determina le regole per la scansione delle pagine e degli elementi del sito dai vari crawler.  Gli utenti di Blogger possono personalizzare il file robots.txt dalla Bacheca. Tale operazione è consigliabile solo a chi sia particolarmente esperto visto che può portare al blocco della indicizzazione di pagine o di altri contenuti del sito.

Tutti i siti che utilizzano la piattaforma Blogger possono visualizzare il loro file robots.txt direttamente online incollando alla fine dell'URL della Homepage la stringa /robots.txt.  Per questo blog bisogna quindi aprire nel browser questo indirizzo

http://www.ideepercomputeredinternet.com/robots.txt

Per la sua modifica invece si può andare su Impostazioni > Preferenze di ricerca > Crawler e indicizzazione > File robots.txt personalizzato > Modifica

Come inserire le sitemap nel file robots.txt personalizzato.

Da qualche tempo Blogger ha introdotto le cosiddette Preferenze di Ricerca per ottimizzare in chiave SEO i post pubblicati nella piattaforma Blogger. Per accedere a detta sezione occorre andare su Bacheca > Impostazioni > Preferenze di ricerca.

Ho già avuto modo di affrontare le opzioni presenti nella parte alta della pagina vale a dire la Descrizione del blog, gli Errori e reindirizzamenti per Pagina non trovata e per i Reindirizzamenti personalizzati. Grande importanza ha pure la Meta Descrizione inserita in ciascun post che viene pubblicato.

Con questo articolo passiamo a affrontare la parte più delicata di questo strumento. Lo stesso Blogger nella sezione Crawler e indicizzazione ha posto la scritta "Attenzione. Usare con cautela. Un uso non corretto di queste funzioni può far sì che il tuo blog sia ignorato dai motori di ricerca".

Come impedire l'indicizzazione da parte di Google di contenuti del nostro blog.

L'obiettivo primario dei blogger è quello di farsi indicizzare i post il più rapidamente possibile da Google che è il principe dei motori di ricerca ed è quello che porta la più importante percentuale di traffico.

Vediamo però le cose da un altro punto di vista. Ci possono per esempio essere dei contenuti del blog che non vogliamo assolutamente che vengano indicizzati. Si potrebbe trattare di dati personali che pur utili ai lettori non vogliamo che appaiano nelle ricerche. Un altro caso potrebbe essere quello di una divagazione rispetto all'argomento principale del post che è meglio non far indicizzare per evitare che Google faccia confusione riguardo al tema di cui si tratta nell'articolo.

Google Instant Preview ora anche negli Strumenti per Webmaster.

Ricorderete quando Google ha inserito nelle sue pagine di ricerca Instant Preview o Anteprima Istantanea. Dopo aver effettuato una ricerca, si clicca sulla lente a lato di ciascun risultato per visualizzare l'immagine della pagina relativa senza doverla aprire. Alcuni webmaster avevano notato la differenza tra l'anteprima mostrata da Google e quello che realmente vedevano con il loro browser.

Per aiutare a risolvere questo problema e per fare in modo che i crawler di Google vedano la stessa cosa dei navigatori, da alcune ore è presente sugli Strumenti per Webmaster una nuova funzione. Ne da notizia il Google Webmaster Central Blog nel quale si annuncia questa novità solo per i siti in lingua inglese. Sono andato nel mio account Strumenti per Webmaster e ho visto che è già disponibile anche in italiano. Bisogna andare su Funzioni sperimentali > Anteprime istantanee e incollare l'indirizzo della pagina di cui vogliamo visualizzare l'aspetto. Si fa presente però che le anteprime sono state realizzate senza alcuni plugin come Flash e Silverlight e quindi ci possono essere oggetti non visibili nell'anteprima

Blogger ha modificato il file robots.txt per la scansione del crawler di Google.

Avevo notato che sugli Strumenti per Webmaster, nella sezione Errori di scansione > Non trovato c'erano degli URL molto strani che producevano collegamenti interrotti. Questo era dovuto al fatto che Blogger intende inserire la nuova funzionalità degli Argomenti Correlati. Per evitare che i blog su Blogger fossero penalizzati da questi broken links, è stato modificato il file robots.txt che dà le indicazioni al crawler di Google per la scansione dei siti.

Dopo aver eseguito l'accesso negli Strumenti per Webmaster e aver selezionato il vostro blog, se andate su Configurazione Sito > Accesso Crawler > Analizza robots.txt vedrete un file di questo genere

Come gestire le etichette in un blog di Blogger.

La gestione delle etichette è uno degli aspetti più importanti di un blog anche se spesso non viene particolarmente curata. Cominciamo a sgombrare il campo da degli equivoci che possono insorgere. La penalizzazione per Tag Excess, cioè per un uso eccessivo di etichette, per gli utenti di Blogger è sostanzialmente impossibile. Questa penalizzazione potrebbe scattare nel momento in cui venissero indicizzate un numero di pagine tag superiore al 15-20% del totale delle pagine del blog.

Nel caso di Wordpress, si può accedere al file robots.txt e non permettere l'indicizzazione delle pagine generate dalle tag. In questo contesto è opportuno usare l'ottimo plugin All In One SEO Pack. Questo per evitare che le pagine generate dalle etichette siano viste come dei doppioni dei singoli post. Facciamo un esempio pratico che invece riguarda Blogger; in questa pagina

http://www.ideepercomputeredinternet.com/search/label/avatar

sono presenti tutti i post di questo blog con il tag "avatar" che quindi potrebbero essere considerati dei contenuti duplicati dei singoli articoli. Ho detto "potrebbero" perché in realtà non succede, visto che il file robots.txt prevede già che, per la piattaforma Blogger, non vengano indicizzate le pagine del tipo "search". Per rendervene conto controllate il vostro file robots.txt. Quello di questo blog si trova a questo indirizzo

Notifiy per ricevere eventuali aggiornamenti su una wave nella posta elettronica.

Quando si partecipa ad una wave o si è addirittura iniziata non è che possiamo stare sempre a controllarla dalla mattina alla sera. C'è però un robot che possiamo aggiungere ai partecipanti della wave che ti notifica di eventuali altri blip inseriti nella wave stessa. Un po' come avviene con Messenger se qualcuno ci chiama quando non siamo al computer. In questo caso possiamo configurare le opzioni di notifica.

Prima di leggere la procedura dovrete avere un po' di dimestichezza con i termini ed il funzionamento del servizio, vi consiglio di leggere quindi la mia Guida su Google su Google Wave. Il robot da inserire ha il seguente indirizzo

wave-email-notifications@appspot.com

Per aggiungerlo ai contatti si clicca in basso a sinistra sull'icona del più, si incolla l'indirizzo quindi si clicca su Invio, successivamente su Submit. Se si trascina l'icona del robot, di nome Notifiy, ci verrà chiesto di effettuare la configurazione della notifica

Le personalizzazioni non sono ancora modificabili, quindi per il momento dobbiamo accontentarci di quello che passa il convento. Questo robot è molto utile se iniziamo una wave e vogliamo sapere se qualcuno è intervenuto oppure quando ne seguiamo una di particolare interesse. Nel momento in cui aggiungiamo questo robot ad una wave, tutti i partecipanti, riceveranno comunque una notifica di configurazione.

Altri articoli su Google Wave

1. Guida a Google wave, recensione completa -
2. Come aggiungere contatti, immagini, documenti e video -
3. Come trovare le wave pubbliche in italiano -

La Bacheca per webmaster finalmente da dei dati coerenti per quanto riguarda Sitemap, errori di scansione, titoli duplicati, tag non ammessi.

Se siete utenti di Blogger, non so cosa è successo con le altre piattaforme, da quando era stata modificata la grafica della Bacheca per Webmaster avrete notato diversi strani comportamenti che si possono riassumere così

1. Venivano inviati solo pochi URL della Sitemap
2. Lo stato della Sitemap invece di essere su OK dava Avvisi o addirittura Errori
3. Venivano mandati dei messaggi di tag non ammesso per tag assolutamente sconosciuti

Qualcun’altro forse avrà rilevato ulteriori anomalie. Da ieri sera la situazione è decisamente migliorata. Scegliendo uno dei nostri siti e andando su Configurazione Sito > Sitemap finalmente è ricomparso il segno di spunta verde che indica che è tutto OK e i link inviati e indicizzati hanno ripreso ad essere un numero coerente

 

Deve essere stato inoltre eliminato quel bug, intrinseco a Blogger, che contrassegnava come titoli duplicati quelli che invece non erano altro che una doppia indicizzazione del post e del post più commento. Infatti se andiamo su Diagnostica > Suggerimenti HTML queste notifiche sono scomparse

con un rassicurante “Non abbiamo rilevato alcun problema con i contenuti del tuo sito”.

Permane invece ancora qualche piccolo problema per quanto riguarda gli Errori di Scansione che possono essere raggiunti sempre da Diagnostica

 

Per quanto riguarda la parte evidenziata in rosa si tratta delle cartelle search e che riguardano le singole etichette. Per scelta Blogger impedisce la loro indicizzazione per evitare duplicazioni con l’articolo vero e proprio. Infatti nel file robots.txt che è comune a tutti i blog su Blogger e che potete trovare su Configurazione Sito > Accesso Crawler è presente il comando Disallow: /search

Questa comunque è una cosa che risale agli albori di Bogger/Blogspot, che tra l’altro proprio in questi giorni ha compiuto i dieci anni di vita, e che non pregiudica l’indicizzazione degli articoli.

Per quanto riguarda i link non trovati, evidenziati in azzurro, sussistono ancora delle difficoltà

 

nel senso che a me ha dato 5 link non trovati, in un caso andando nella pagina indicata sono riuscito a trovare l’errore, che non dipendeva da me ma da Blogger , ma negli altri quattro dove siano questi link mi è ignoto. Comunque è già un bel passo in avanti visto che pochi giorni fa dava molti più link non trovati di questo tipo.

 

Le cartelle con search su Blogger non vengono più indicizzate da Google.

E' una cosa assolutamente allucinante di cui mi sono accorto due giorni fa a seguito di un calo vistosissimo di navigatori sui miei siti che si trovano ancora su Blogger. Non so ancora per quanto succederà perché se da Blogger non mettono rimedio credo che saremo costretti a lasciare questa piattaforma. Ma andiamo per gradi

• Non è che tutti i giorno controlli l'andamento degli arrivi sul blog ma lunedì ho visto un vero e proprio crollo degli arrivi del giorno precedente, crollo che è continuato anche per quel giorno.
• Sono andato su Google Analytic e ho visto che le visite erano passate da 1650 a 600. Il calo era dovuto proprio alla mancanza quasi totale di visitatori dai motori di ricerca. Considerato che rappresentavano circa il 65% dei miei visitatori il conto è presto fatto
• Ho pensato di aver subito una penalizzazione su Google per qualcosa che ovviamente non avevo fatto. Ho quasi subito scartato l'ipotesi visto che digitando il nome del mio sito od il suo URL questo veniva visualizzato per primo
• Sono allora andato nella Bacheca per Webmaster e ho notato che ci sono un sacco di URL non indicizzati perché limitati dal robots.txt
  
• Il dettaglio degli URL non indicizzati mostrava che erano proprio gli URL delle tag che erano stati ignorati
  
• Il problema si poneva dal 6-10 dicembre come si vede dallo screenshot
• Sono andato a vedere perché c'era questa esclusione visto che io non avevo impostato niente al riguardo. Per farlo sono andato su Strumenti>Analizza robots.txt
• Qui l'incredibile sorpresa in quanto non si permetteva al ragno di Google di controllare le pagine con cartella search, praticamente tutte quelle che vengono generate dalle tag
  
• La cosa incredibile è che controllando tutti gli altri miei blog su Blogger ho notato che in tutti è presente questa incredibile e assurda limitazione
   
• Su Blogger non mi risulta sia possibile modificare questo file perché non è caricato sul nostro blog ma è sul server. Per accedervi basta digitare p.e.
  http://nomeblog.blogspot.com/robots.txt e vedrete il file di testo che organizza le scansioni del vostro sito
• Mi sono posto il problema se questo succedeva solo a me o se accadeva anche ad altri. Mi sono quindi permesso di guardare i file robots di altri siti così da vedere se questa cosa assurda, allucinante e incredibile era solo un problema mio o se era comune ad altri
• Ho controllato alcuni blog dei miei lettori, che quindi hanno un blog su blogger per vedere il loro file robots. Per farlo basta digitare
  nomesito.blogspot.com/robots.txt
• Cliccate sopra uno qualsiasi e vedrete che in tutti i casi è presente la scritta  Disallow: /search

Aggiornamento: La cronaca definitiva della vicenda la puoi trovare in questo articolo scritto qualche settimana dopo.