Visualizzazione post con etichetta crawler. Mostra tutti i post
Visualizzazione post con etichetta crawler. Mostra tutti i post

Pubblicato il 18/05/11 - aggiornato il  | 24 commenti :

Blogger ha modificato il file robots.txt per la scansione del crawler di Google.

Avevo notato che sugli Strumenti per Webmaster, nella sezione Errori di scansione > Non trovato c'erano degli URL molto strani che producevano collegamenti interrotti. Questo era dovuto al fatto che Blogger intende inserire la nuova funzionalità degli Argomenti Correlati. Per evitare che i blog su Blogger fossero penalizzati da questi broken links, è stato modificato il file robots.txt che dà le indicazioni al crawler di Google per la scansione dei siti.

Dopo aver eseguito l'accesso negli Strumenti per Webmaster e aver selezionato il vostro blog, se andate su Configurazione Sito > Accesso Crawler > Analizza robots.txt vedrete un file di questo genere



Pubblicato il 25/06/09 - aggiornato il  | 2 commenti :

La Bacheca per webmaster finalmente da dei dati coerenti per quanto riguarda Sitemap, errori di scansione, titoli duplicati, tag non ammessi.

Se siete utenti di Blogger, non so cosa è successo con le altre piattaforme, da quando era stata modificata la grafica della Bacheca per Webmaster avrete notato diversi strani comportamenti che si possono riassumere così

  1. Venivano inviati solo pochi URL della Sitemap
  2. Lo stato della Sitemap invece di essere su OK dava Avvisi o addirittura Errori
  3. Venivano mandati dei messaggi di tag non ammesso per tag assolutamente sconosciuti

Qualcun’altro forse avrà rilevato ulteriori anomalie. Da ieri sera la situazione è decisamente migliorata. Scegliendo uno dei nostri siti e andando su Configurazione Sito > Sitemap finalmente è ricomparso il segno di spunta verde che indica che è tutto OK e i link inviati e indicizzati hanno ripreso ad essere un numero coerente

sitemap

 

Deve essere stato inoltre eliminato quel bug, intrinseco a Blogger, che contrassegnava come titoli duplicati quelli che invece non erano altro che una doppia indicizzazione del post e del post più commento. Infatti se andiamo su Diagnostica > Suggerimenti HTML queste notifiche sono scomparse

diagnostica

con un rassicurante “Non abbiamo rilevato alcun problema con i contenuti del tuo sito”.

Permane invece ancora qualche piccolo problema per quanto riguarda gli Errori di Scansione che possono essere raggiunti sempre da Diagnostica

 ERRORI DI SCANSIONE

Per quanto riguarda la parte evidenziata in rosa si tratta delle cartelle search e che riguardano le singole etichette. Per scelta Blogger impedisce la loro indicizzazione per evitare duplicazioni con l’articolo vero e proprio. Infatti nel file robots.txt che è comune a tutti i blog su Blogger e che potete trovare su Configurazione Sito > Accesso Crawler è presente il comando Disallow: /search

robots.txt

Questa comunque è una cosa che risale agli albori di Bogger/Blogspot, che tra l’altro proprio in questi giorni ha compiuto i dieci anni di vita, e che non pregiudica l’indicizzazione degli articoli.

Per quanto riguarda i link non trovati, evidenziati in azzurro, sussistono ancora delle difficoltà

 image

nel senso che a me ha dato 5 link non trovati, in un caso andando nella pagina indicata sono riuscito a trovare l’errore, che non dipendeva da me ma da Blogger , ma negli altri quattro dove siano questi link mi è ignoto. Comunque è già un bel passo in avanti visto che pochi giorni fa dava molti più link non trovati di questo tipo.

 



Pubblicato il 06/06/09 - aggiornato il  | 2 commenti :

Come inserire il nostro blog nelle ricerche di Bing.

Se avete seguito le istruzioni di questo post o comunque avete già segnalato il vostro sito a Live Search adesso non occorre che facciate nient’altro. Se invece non lo avevate fatto ecco come inserire il blog nel nuovo motore di ricerca Bing.

Accedere attraverso questa pagina a Bing inserendo un nostro account Windows Live ID come può essere un indirizzo email del tipo hotmail.it o live.it.

modulo_bing

Riempire il campo Web Address con l’URL del vostro sito e, in modo opzionale, si possono inserire anche l’URL della Sitemap (in Blogger non mi risulta esistere) e anche un nostro indirizzo email per avere degli aggiornamenti periodici. Infine si clicca su Submit.

Il passo successivo è quello della verifica che voi siete veramente l’amministratore di quel sito. La verifica si svolge attraverso l’inserimento di un meta tag nel modello. Fate riferimento sempre a questo post se non sapete come fare.

Successivamente accedendo alla Bacheca dei vostri siti e selezionandone uno potete ottenere le informazioni di indicizzazione. Nella prima schermata sono presenti le cinque pagine al top della indicizzazione

bing

Viene anche inserito un punteggio (sono dei quadratini) per ciascuna pagina. A destra è presente la data dell’ultima scansione. Per questo blog è stata il 3 Giugno quindi bisogna dire che è abbastanza rapido anche se gli URL indicizzati sono ridicoli rispetto a quelli di Google. 

 



Pubblicato il 11/03/09 - aggiornato il  | 18 commenti :

Come entrare senza registrazione nei forum per controllarne l'affidabilità.

Talvolta si ha voglia di entrare in un forum non fosse altro che per una questione di curiosità ma non si sa cosa ci aspetta all’interno.
Dovendo dare un indirizzo email potremmo essere sommersi da spam o, peggio ancora, il forum potrebbe avere dei contenuti riprovevoli.
Per prima cosa scarichiamo l’add-on di Firefox User Agent Switcher, se il download non parte clicca su Permetti nella parte alta della pagina, scegliere quindi Installa ora e, come al solito, riavvia il browser.

Adesso vai su Strumenti > DefaultUser Agent > Search Robots > Googlebot 2.1 come mostrato in questo screenshot 




L’ho testato su tre forum e questo sistema ha funzionato in tutti. Offre inoltre la possibilità di monitorare un forum senza che venga rilevata la nostra presenza.

Un’altra opzione può essere quella di visitare BugMeNot che è un luogo in cui persone si scambiano informazioni su migliaia di siti e forum. Provate ad inserire l’indirizzo del forum che volete visitare senza registrarvi e avrete le dritte giuste.
Se si riesce a entrare in un forum non si può però ovviamente interagire con post e commenti.