Perché Google non indicizza le mie dannate pagine?

Hai scritto un articolo, lunghezza libretto, sulle “migliori lettiere autopulenti per gatti dicembre 2021”, che ha le carte in regola per ambire al premio Pulitzer per la SEO, ma non c’è verso di farlo indicizzare a Google?

I problemi nell’indicizzazione di pagine, articoli e prodotti sembrerebbero sempre più ricorrenti e spesso bisogna aspettare anche settimane per vedere finalmente il proprio contenuto ascendere nell’Olimpo dell’indice del motore di ricerca.

In un periodo storico di grande crescita dei negozi online, si tratta di un problema che spesso riguarda questi ultimi (ma non solo). A onor del vero, bisogna aggiungere che gli ecommerce sono per antonomasia pieni di monnezza (SEO-isticamente parlando, intesa come duplicazioni, strutture discutibili, cannibalizzazioni, pagine scarne, soft 404, ecc.).

Ma perché Google non indicizza i miei dannati contenuti? La risposta in realtà è complessa e va ad abbracciare in alcuni casi questioni tecniche, ma più spesso è un discorso legato alle risorse del motore di ricerca rapportate alla qualità reale o percepita del sito web in questione.

Alcuni puntano il dito verso la tecnologia usata per sviluppare un dato sito web. Oggi Google è in grado di digerire siti web che, ad esempio, fanno un uso massivo di Javascript ed effetti vari. I problemi d’indicizzazione riguardano tra l’altro anche pagine e siti “semplici”, quindi non mi impunterei troppo su questo aspetto.

Detto ciò, sono comunque dell’idea che costruire siti web semplici e veloci sia una scelta saggia, anche per rendere la digestione più facile al search engine. Questo non significa che dovete schiaffare online pagine “solo HTML”. Trovare una quadra, in base ai vari obiettivi, deve essere il vostro modello di riferimento.

Le motivazioni alla base dei problemi di indicizzazione su Google

Tralasciando le problematiche più evidenti e grossolane che si traducono nella mancata indicizzazione, ho raccolto le motivazioni in tre filoni. Vediamoli nel dettaglio.

Aggiungo un’altra postilla: in alcuni casi il colpevole può anche essere il vostro hosting-server di riferimento. La recente “bufera” successa con i siti su SiteGround ne è la prova. Per approfondire vedi qui.

Qualità (reale o percepita) di un sito web

Siti web autorevoli, con backlink potenti, contenuti di qualità e una storia di apprezzamento da parte del motore di ricerca, hanno un credito d’amore da parte di Google più ampio, che in genere si traduce in una maggiore facilità nell’indicizzazione dei nuovi contenuti.

Che dire sui nuovi o su siti con “potenza” non elevatissima? Questi è più facile che finiscano per incappare in problemi nell’assimilazione delle pagine, soprattutto se sono siti web molto ampi (come appunto gli ecommerce).

Che fare dunque? Innanzitutto abbiate pazienza, la SEO non è attività per ansiosi (chi scrive lo è, quindi vi capisco perfettamente).

Accanto a questo, a breve vedremo alcuni spunti per favorire l’innamoramento costante da parte di Google. La base però è sostanzialmente quella di implementare le best practice lato SEO.

Costruire siti semplici con strutture che favoriscano il crawling, evitare duplicazioni, cannibalizzazioni e pagine scarne (come archivi-tag vuoti o quasi), evitare di copiare i contenuti, implementare un efficace e virtuoso sistema di linking interna.

Accanto a questo è essenziale anche lavorare off-site. Backlink autorevoli sono ad oggi un aspetto che può far fare il salto di qualità al vostro progetto, aumentandone il “livello di combattimento”.

La SEO poi è oggi sempre più intrecciata anche ad aspetti che vanno oltre le basilari best practice. Se il vostro progetto-sito web guadagna popolarità anche su altri ecosistemi (ad esempio i social), è molto probabile che anche Google “tenda l’orecchio” e ne recepisca l’autorevolezza.

Insomma se state leggendo quest’articolo in cerca del trucchetto veloce o della “mandrakata”, resterete delusi in quanto, se esiste, non la conosco (se la conoscessi, ve la venderei).

Bug di Google

Veniamo a una nota dolente. Quando si parla degli algoritmi di Google, bisogna prendere atto che esistono anche dei bug. Google non è onnipotente e infallibile, anche se a Mountain View sono stati bravi a costruire una percezione di divinità.

Alcuni di questi bug sono stati effettivamente riconosciuti, ma è molto probabile che altri, di minor portata, non vengono resi pubblici (i panni sporchi si lavano in casa a tutti i livelli).

Per approfondire su un “interessante” bug, vedere anche questo articolo su Search Engine Journal.

Il problema dei bug è proprio quello che essendo delle anomalie, se non ci vengono comunicate, incasinano i processi analitici di individuazione del problema. Da questo punto di vista, non possiamo che metterci il cuore in pace.

Risorse limitate

Seconda nota dolente. Negli ultimi anni si è registrata una crescita esponenziale dei siti web messi online. Mi sbilancerei anche ad aggiungere che, in proporzione, la quota di monnezza che finisce nella pancia del motore di ricerca è sempre maggiore.

Per quanto aitante e muscoloso, il povero Google deve assimilare una quantità crescente giornaliera di nuovi contenuti. Questo si traduce nell’inevitabile conseguenza della necessità di “compiere delle scelte”, quando ci si sposta sul discorso crawling e indicizzazione.

Questa limitatezza potrebbe far scattare la mannaia della selezione anche su pagine e siti che sarebbero di qualità. Bisogna quindi, da un lato prendere atto di ciò, dall’altro lavorare per far scoprire e valorizzare i nostri contenuti (qui si ritorna a quanto detto sopra sulle best practice SEO e lato web marketing).

Cosa fare per favorire l’indicizzazione

Vediamo ora alcuni spunti per mettere su un sistema virtuoso di indicizzazione e conseguente posizionamento dei nostri contenuti (serviamoci anche del rapporto Indice – Copertura di Search Console per approfondire lo stato dell’indicizzazione):

• Pattern: individuare, in caso di problemi di indicizzazione, se ci sono dei pattern di problematicità (magari non viene indicizzata una determinata sezione del sito, che può, giusto per fare un esempio, essere una categoria di prodotti poco valorizzata dal sistema di linking interno).
• Evitiamo di mettere online pagine scarne o passibili di esser etichettate come soft 404.
• Occhio agli archivi (categorie, tag o altri). Evitiamo di far crescere le dimensioni del nostro sito pubblicando archivi vuoti o con un solo articolo o prodotto (aggiungo che i tag WordPress non sono parole chiave, una nota che non fa mai male ribadire).
• Occhio alle cannibalizzazioni: evitiamo di dire la stessa cosa in più pagine
• Rendiamo i nostri title e meta tag univoci in modo da aiutare il bot a districarsi.
• Non copiamo i contenuti (vale soprattutto per le schede prodotto e altri contenuti degli ecommerce).
• Se ci troviamo di fronte a un sito con tante sezione superflue, ben accetta la mannaia volta a ripulire e valorizzare l’essenziale.
• Utilizziamo il robots.txt in modo virtuoso per ottimizzare il crawl budget.
• Prendiamoci del tempo per ottimizzare i link interni (aspetto tantissime volte sottovalutato).
• Studiamo gli intenti di ricerca per produrre contenuti che non siamo una mera accozzaglia di parole chiave o lunghezza del testo fine a se stessa.
• Allochiamo budget per attività di link building, link earning, link baiting (o come volete chiamarla, ci siamo capiti).

Post scriptum

Aggiungo una nota in seguito a una chiacchierata con un collega. Riguarda l’utilizzo delle indexing API di Google per “fare ingurgitare” velocemente le nostre pagine al motore di ricerca (tradotto, ottenerne una rapida indicizzazione).

Qui una guida fornita da Rank Math su come servirsene. C’è però un grosso MA: Google raccomanda di utilizzare questa “scorciatoia” solo per pagine con annunci di lavoro e live streaming.

Quindi valutare con cautela qualora non si rientri nella categoria alla quale è riservata la corsia preferenziale. Insomma, come dicevano nel Wrestling: don’t do this at home (sotto un tweet del vecchio John, a scopo intimidatorio).