Pubblicato il 17/12/08 - aggiornato il  | 20 commenti :

Le cartelle con search su Blogger non vengono più indicizzate da Google.

E' una cosa assolutamente allucinante di cui mi sono accorto due giorni fa a seguito di un calo vistosissimo di navigatori sui miei siti che si trovano ancora su Blogger. Non so ancora per quanto succederà perché se da Blogger non mettono rimedio credo che saremo costretti a lasciare questa piattaforma. Ma andiamo per gradi
  • Non è che tutti i giorno controlli l'andamento degli arrivi sul blog ma lunedì ho visto un vero e proprio crollo degli arrivi del giorno precedente, crollo che è continuato anche per quel giorno.
  • Sono andato su Google Analytic e ho visto che le visite erano passate da 1650 a 600. Il calo era dovuto proprio alla mancanza quasi totale di visitatori dai motori di ricerca. Considerato che rappresentavano circa il 65% dei miei visitatori il conto è presto fatto
  • Ho pensato di aver subito una penalizzazione su Google per qualcosa che ovviamente non avevo fatto. Ho quasi subito scartato l'ipotesi visto che digitando il nome del mio sito od il suo URL questo veniva visualizzato per primo
  • Sono allora andato nella Bacheca per Webmaster e ho notato che ci sono un sacco di URL non indicizzati perché limitati dal robots.txt
    image
  • Il dettaglio degli URL non indicizzati mostrava che erano proprio gli URL delle tag che erano stati ignorati
    image
  • Il problema si poneva dal 6-10 dicembre come si vede dallo screenshot
  • Sono andato a vedere perché c'era questa esclusione visto che io non avevo impostato niente al riguardo. Per farlo sono andato su Strumenti>Analizza robots.txt
  • Qui l'incredibile sorpresa in quanto non si permetteva al ragno di Google di controllare le pagine con cartella search, praticamente tutte quelle che vengono generate dalle tag
    image
  • La cosa incredibile è che controllando tutti gli altri miei blog su Blogger ho notato che in tutti è presente questa incredibile e assurda limitazione
    image  image
  • Su Blogger non mi risulta sia possibile modificare questo file perché non è caricato sul nostro blog ma è sul server. Per accedervi basta digitare p.e.
    http://nomeblog.blogspot.com/robots.txt e vedrete il file di testo che organizza le scansioni del vostro sito
  • Mi sono posto il problema se questo succedeva solo a me o se accadeva anche ad altri. Mi sono quindi permesso di guardare i file robots di altri siti così da vedere se questa cosa assurda, allucinante e incredibile era solo un problema mio o se era comune ad altri
  • Ho controllato alcuni blog dei miei lettori, che quindi hanno un blog su blogger per vedere il loro file robots. Per farlo basta digitare
    nomesito.blogspot.com/robots.txt
  • Cliccate sopra uno qualsiasi e vedrete che in tutti i casi è presente la scritta  Disallow: /search


Aggiornamento: La cronaca definitiva della vicenda la puoi trovare in questo articolo scritto qualche settimana dopo.



20 commenti :

  1. Anche a me da in questo modo.... ma dove influisce questa cosa?

    RispondiElimina
  2. Hai fatto benissimo Parsifal figurati se me ne risento!!!
    Ma hai per caso contattato qualcuno di blogger al riguardo?
    Le mie visite continuano ad essere abbastanza costanti(google analytics)...no so come fare un check sulla "salute" della mia indicizzazione da parte di blogger...

    RispondiElimina
  3. Ho già contattato il gruppo di sostegno di Blogger, spero rispondano presto. Per quanto riguarda il calo delle visite dipende da quanti visitatori ti venivano attraverso le tag. Non sono un super esperto ma sicuramente c'è qualcosa che non va. Disallow significa impedire e gli URL non idicizzati sono quelli con search. E' una cosa veramente seccante. E' chiaro che se continua così dovremo cambiare piattaforma. Quello che mi dà da pensare è che non se ne sia accorto nessuno e quindi potrebbe essere solo un mio problema. Però non so spiegarmi quale. Il problema nasce 3-4 giorni fa e non ho fatto nessun cambiamento che lo abbia potuto provocare

    RispondiElimina
  4. dunque ti rispondo in frettissima senza approfondire ma avevo controllato e fatto qualche ricerca anche io tempo fa.

    le etichette non vengono indicizzate su blogger da un bel pezzo. Avevo letto che era normale e non c'era da preoccuparsi. Era una scelta tecnica quasi obbligata che avevano dovuto fare.
    insomma niente da preoccuparsi,

    ma ripeto per rispondere qui non sono andato a controllare di nuovo, mi baso solo sulla memoria.

    RispondiElimina
  5. Ciao Parsifal, in realtà il file robots.txt blocca lo spider di google per le etichette da sempre!! E in tutti i blog di blogger!!

    Blogger utilizza questo stratagemma per evitare il contenuto duplicato su google. Infatti, per google non ha senso indicizzare 4 pagine uguali (ti faccio l'esempio di questo articolo):
    http://parsifal32.blogspot.com/2008/12/le-cartelle-con-search-su-blogger-non.html
    http://parsifal32.blogspot.com/search/label/blog
    http://parsifal32.blogspot.com/search/label/blogger
    http://parsifal32.blogspot.com/search/label/robots

    Ne basta una, in questo caso:
    http://parsifal32.blogspot.com/2008/12/le-cartelle-con-search-su-blogger-non.html

    Questo stratagemma serve appunto per evitare duplicazioni di contenuto, e quindi di penalizzazioni!! Spero di essermi spiegato bene! :)

    La tua penalizzazione è dovuta a qualche altro fattore... hai provato a controllare i link in uscita? Nello screenshot leggo che ci sono 8 url non trovati

    RispondiElimina
  6. @Yurj
    Grazie della tua precisazione. Il mistero però rimane perché i link mancanti derivano da dei post che sono stati eliminati

    RispondiElimina
  7. Ciao
    effettivamente è come dici..espedienti??

    RispondiElimina
  8. @Weiji
    Probabilmente ho preso una cantonata, sto studiando la cosa e con l'anno nuovo farò un post per fare il punto della situazione. Comunque sembra che la non indicizzazione delle cartelle tipo search non influisca più di tanto sul numero delle visite. Per quanto riguarda questo blog, ho avuto 3 o 4 giorni con un crollo degli arrivi da Google ma adesso sono tornati normali, anzi sono aumentati. Prima di scrivere cose inesatte voglio aspettare ancora un po' e monitorare meglio. Una cosa sembra certa, il file robots.txt non può essere modificato in Blogger visto che è lo stesso per tutti i blog e risiede nel server centrale.
    Ciao

    RispondiElimina
  9. Ciao, io ho aperto un blog da pochi mesi, a dicembre mando la sitemap (ho settato anche nelle impostazioni che volevo che il blog fosse trovabile dai motori di ricerca e visibile anche negli elenchi google).
    I primi giorni mi segnalava come url limitati da robots.txt quelli delle categorie, identica situazione tua, disallow compreso.
    Ho fatot la gnorri, dopo qualche settimana queste segnalazioni sono sparite.
    Ho recentemente cambiato template: di nuovo come prima. Ora aspetto un po' per vedere se si corregge da solo, vallo a capire.

    RispondiElimina
  10. @Recenso
    Non ti preoccupare di quel disallow, sembra che non comporti nessun problema. Semmai leggiti la pagina di aggiornamento per una informazione più completa.
    Ciao

    RispondiElimina
  11. Anche se con quasi due anni di ritardo, leggo questo tuo post. Il fatto è dato che ho aperto da poco un blog, e andando a controllare su strumenti per webmaster ho riscontrato i tuoi stessi problemi.
    Su errori di scansione ho trovato 3 url non trovati (questi non sono post che ho eliminato).
    Mentre per quanto riguarda i soggetti a restrizione da robots.txt gli url sono passati da 16 a 18.
    Premetto che da non tantissimo ho cambiato l’URL del blog, e seguendo i tuoi consigli ho inserito nel blog
    I metatag descrizione, parole chiave, autore e robots.
    Mi chiedo, e ti chiedo se questi possono influire in questi errori.
    C’è una procedura da seguire, o bisogna aspettare e lasciare tutto come è?
    La pagina di aggiornamento a cui ti riferisci nei commenti dove la posso trovare?
    Scusami delle troppe domande, ma tutto questo mi ha fatto non poco preoccupare.
    Ciao

    RispondiElimina
  12. @CS
    Per gli URL soggetti a restrizioni da robots non c'è da preoccuparsi perché è una scelta di Blogger quella di non indicizzare le cartelle search. Via via che aggiungi una nuova etichetta aumenteranno le pagine soggette a restrizione; in questo blog sono centinaia :)
    Per gli URL non trovati invece devi vedere se derivano dal tuo blog o da altri. Se sono altri che ti hanno linkato ma hanno sbagliato URL, non c'è da preoccuparsi; se invece in una tua pagina c'è un collegamento sbagliato, devi cercare di correggerlo.
    Il post in cui ho riassunto tutta la vicenda lo puoi trovare qui.
    Ciao

    RispondiElimina
  13. OK, ora mi sento un pochino più tranquillo. Cercherò di dare una controllatina ai vari url non trovati.
    Grazie e a presto.
    Ciao

    RispondiElimina
  14. ciao parsifal,ho avuto lo stesso problema pochi giorni fa; le etichette/tag del mio sito risultano tutte bloccate dal file robots! il blog è nuovissimo per cui lo sto ancora mettendo a posto ma cosi rischio di avere 0 visitatori..

    RispondiElimina
  15. @spreadthetrip
    E' un falso problema. Leggi i commenti precedenti

    RispondiElimina
  16. Ciao Ernesto,ho appena installato dei contatori di pagine e visite nel blog...soloche adesso le statistiche di blogger mi dicono che ci sono 55 visualizzazione il contatore mi dice 28 e google analytic mi dice 48...ma che succede?

    RispondiElimina
  17. @Petra
    Usa solo Google Analytics e le Statistiche di Blogger che sono i più sicuri e quelli che danno i dati più affidabili.

    RispondiElimina
  18. Ma tra google Analytic e blogger c'è un abisso.Nelle statistiche di ieri Analityc segna 150 visualizzazioni di pagina in meno in confronto a blogger...ho inserito più volte il codice di monitoraggio

    RispondiElimina
  19. @Petra
    Blogger è più generoso e conteggia anche le visite fatte dal proprietario del sito (almeno di non impedirlo cliccando sull'apposito popup). Le statistiche sono comunque solo una tendenza e vanno considerate in relazione ai giorni e alle settimane precedenti per conoscere se il trend del blog è positivo o negativo.

    RispondiElimina
  20. Blogger non conteggia le mie visualizzazioni,già tolta...
    Grazie per le info,ciao

    RispondiElimina

Non inserire link cliccabili altrimenti il commento verrà eliminato. Metti la spunta a Inviami notifiche per essere avvertito via email di nuovi commenti.
Info sulla Privacy