Se gestite un sito da qualche anno l’avrete notato anche voi: pubblicate una pagina nuova, aspettate, controllate Search Console e trovate la scritta più frustrante dell’intero ecosistema Google: “Rilevata, attualmente non indicizzata”. La pagina esiste, Google sa che esiste, ma ha deciso che per il momento non vale la pena occuparsene. Né oggi, né domani, né (in molti casi) mai.
La spiegazione che circola più spesso è che Google sia diventato pigro, o capriccioso, o che ce l’abbia con i siti piccoli. La realtà è più semplice e anche più interessante: Google amministra un budget. Un budget fatto di energia, di data center, di potenza di calcolo, e come tutti i budget viene assegnato dove rende di più. Il vostro sito riceve una quota di questo budget e, se i vostri contenuti non la giustificano, la quota si riduce.
In questo articolo vi spieghiamo come funziona l’economia del crawling, perché i contenuti generati in massa con l’intelligenza artificiale sono le prime vittime di questi meccanismi e cosa c’entra Gemini in tutto questo. E dato che a noi piace parlare di cose che abbiamo toccato con mano, vi racconteremo anche com’è andata quando abbiamo pubblicato 350 articoli generati con ChatGPT su uno dei nostri siti. Spoiler: non è andata benissimo.
C’era una volta uno squalo
Chi si occupa di siti internet da abbastanza tempo ricorda un’epoca in cui il problema dell’indicizzazione semplicemente non esisteva. Google indicizzava tutto, con la voracità di uno squalo: bastava pubblicare una pagina, aspettare qualche giorno (a volte qualche ora) e la pagina compariva nell’indice. Il dibattito tra webmaster non era “come faccio a farmi indicizzare” ma “come faccio a posizionarmi meglio”. L’ingresso nell’indice era dato per scontato
Quei tempi sono finiti da un pezzo, e la trasformazione non è avvenuta da un giorno all’altro. È stata un’evoluzione graduale, con alcune tappe che vale la pena ricordare.
La prima incrinatura risale alla metà degli anni 2000, quando Google introdusse il cosiddetto supplemental index: un indice di serie B, una specie di purgatorio in cui finivano le pagine ritenute meno importanti. Le pagine nel supplemental index esistevano, tecnicamente erano indicizzate, ma comparivano nei risultati solo in mancanza di alternative migliori. I webmaster dell’epoca (chi c’era se lo ricorda) passavano ore a cercare di capire perché metà del proprio sito fosse finita nel purgatorio.
Nel 2010 arrivò Caffeine, che paradossalmente andò nella direzione opposta: un’infrastruttura nuova che permetteva a Google di scansionare il web in modo continuo e di aggiornare i risultati in tempo quasi reale. Per qualche anno lo squalo tornò ad avere fame. Ma già nel 2011 Panda introdusse la prima grande selezione basata sulla qualità: i contenuti scadenti, duplicati o inutili iniziarono a essere sistematicamente penalizzati.
La vera svolta, quella che ha reso l’avarizia di Google visibile a tutti, è arrivata tra il 2018 e il 2021. È in quel periodo che i messaggi “Rilevata, attualmente non indicizzata” e “Scansionata, attualmente non indicizzata” sono diventati un’epidemia. I forum si sono riempiti di webmaster disperati, con siti tecnicamente perfetti e pagine che Google si rifiutava categoricamente di prendere in considerazione. Tutto questo, vale la pena sottolinearlo, ben prima dell’arrivo di ChatGPT e della marea di contenuti generati dall’intelligenza artificiale.
L’era dell’AI non ha creato il problema: lo ha portato alle estreme conseguenze. Lo squalo era già a dieta da anni; ora è diventato definitivamente un gourmet.
L’economia del crawling: Google fa i conti
Per capire il comportamento attuale di Google bisogna abbandonare un’idea molto diffusa e molto sbagliata: che indicizzare una pagina non costi niente. Scansionare una pagina, renderizzarla (cioè eseguirne il codice per vedere come appare davvero), analizzarla e archiviarla nell’indice consuma energia, banda e potenza di calcolo. Moltiplicate per le centinaia di miliardi di pagine che compongono il web e otterrete un costo imponente.
Google, quindi, fa i conti. Un articolo pubblicato di recente su Search Engine Journal da Dan Taylor descrive bene questi meccanismi, e riassume in tre elementi i criteri con cui Google decide quanto budget assegnare a un sito:
L’inventario percepito: quante pagine Google ritiene che esistano sul vostro sito e, soprattutto, quante di queste ritiene effettivamente utili. Se pubblicate mille pagine e Google ne giudica utili cinquanta, le altre novecentocinquanta pesano come zavorra sull’intero dominio.
La domanda: quanto gli utenti cercano davvero gli argomenti di cui parlate. Pubblicare contenuti su temi che non interessano a nessuno significa chiedere a Google un investimento senza ritorno.
L’autorevolezza del dominio: la reputazione e i collegamenti che il vostro sito ha accumulato nel tempo. Attenzione: non stiamo parlando della “Domain Authority” o di metriche simili calcolate da strumenti di terze parti, che sono stime esterne, ma della valutazione interna di Google, che nessuno strumento può misurare direttamente.
Quando un sito pubblica improvvisamente centinaia o migliaia di pagine nuove, Google non espande automaticamente il budget per accoglierle. Fa una cosa più sottile, e per certi versi più crudele.
L’illusione del primo mese
Molte campagne di pubblicazione massiva sembrano un successo clamoroso nelle prime settimane. Le pagine vengono indicizzate rapidamente, il traffico sale, i grafici sono tutti verdi. Chi ha lanciato l’iniziativa stappa lo spumante.
È quasi sempre un’illusione temporanea, alimentata dai cosiddetti segnali di freschezza. Gli algoritmi di Google concedono ai contenuti nuovi una spinta iniziale di indicizzazione e visibilità, una specie di periodo di prova: vi metto in vetrina e osservo come reagiscono gli utenti. Se in questo periodo le pagine accumulano clic, interazioni, condivisioni, qualche link spontaneo, allora si guadagnano un posto stabile nell’indice. Se invece si limitano a esistere, rispondendo alle ricerche in modo corretto ma identico a mille altre pagine, i segnali non arrivano e la marea si ritira.
A quel punto Google riduce la frequenza di scansione dell’intera sezione del sito, e le pagine cominciano a scivolare fuori dall’indice. Taylor cita una regola empirica secondo cui un URL che non viene riscansionato entro circa 130-140 giorni (in alcuni casi anche solo 75) rischia seriamente la de-indicizzazione. Precisiamo subito, per onestà: questi numeri non sono un dato ufficiale di Google, sono una stima basata sull’esperienza dell’autore, e vi consigliamo di prenderli come un ordine di grandezza, non come una scadenza stampata sul calendario. Il meccanismo di fondo, però, è confermato dall’esperienza quotidiana di chiunque gestisca siti di una certa dimensione: le pagine che Google smette di visitare sono pagine con i giorni contati.
Scaled Content Abuse
Fin qui abbiamo parlato di meccanismi algoritmici, per così dire fisiologici. Ma quando la pubblicazione massiva supera una certa soglia, si entra nel territorio delle penalizzazioni vere e proprie. Google ha una categoria dedicata, lo Scaled Content Abuse (abuso di contenuti su larga scala), e negli ultimi tempi le azioni manuali di questo tipo sono aumentate sensibilmente.
I bersagli tipici sono facilmente riconoscibili: pagine fotocopia che cambiano solo un segnaposto (“Miglior idraulico a [Città]” ripetuto per cinquecento città, senza alcuna informazione locale reale), traduzioni automatiche di massa in decine di lingue senza revisione umana, migliaia di articoli che si limitano a riassumere quello che si trova già nei primi risultati di ricerca senza aggiungere un solo grammo di informazione nuova.
Una penalizzazione manuale per Scaled Content Abuse è tra le più difficili da cui recuperare, perché non colpisce una pagina o una sezione: significa che Google non si fida più del meccanismo di pubblicazione del sito nel suo complesso. Il recupero richiede una chirurgia pesante, con la rimozione di grandi quantità di contenuti e un lungo processo di ricostruzione della fiducia. Se vi state chiedendo se ne valga la pena, la risposta è nella prossima sezione.
L’abbiamo fatto anche noi
Qui potremmo continuare a citare fonti autorevoli e casi di studio altrui. Preferiamo raccontarvi un caso di studio nostro, con i suoi numeri e i suoi limiti.
Tra il 2023 e il 2024, su uno dei nostri siti editoriali (un progetto separato dal sito che state leggendo, che per ora preferiamo non nominare, e più avanti capirete perché), abbiamo condotto un esperimento con una domanda di fondo molto semplice: pubblicare una grande quantità di contenuti prodotti con ChatGPT è utile oppure no?
I numeri dell’esperimento: 350 articoli pubblicati in 12 mesi, principalmente guide di viaggio. E qui una precisazione importante: non si trattava di spam puro, di copia-incolla selvaggio dall’output del modello. Ogni articolo riceveva almeno un’ora di lavoro di rifinitura: scelta delle immagini, controllo (sommario, lo ammettiamo) dei contenuti, formattazione, sistemazione della struttura. Un flusso di lavoro che molti “Guru di Dubai” su YouTube avrebbero definito virtuoso, AI più supervisione umana.
Il risultato? Nell’arco dell’esperimento il traffico organico del sito è calato tra il 10 e il 20%. Non un crollo verticale, non una penalizzazione manuale, ma un’erosione costante e inequivocabile. Il sito pubblicava trenta volte più contenuti di prima e riceveva meno visite di prima.
Qualche doverosa precisazione metodologica, perché ci teniamo a distinguere quello che sappiamo da quello che supponiamo. Primo: era un sito relativamente piccolo, scelto apposta perché nessuna persona sana di mente sacrifica un sito di core business in un esperimento del genere. Secondo: non abbiamo mai condotto un’analisi statistica approfondita dei dati, il test era volutamente binario (funziona o non funziona?) e la risposta è stata un no abbastanza rumoroso da non richiedere decimali. Terzo: non possiamo dimostrare il nesso causale al cento per cento, ma la correlazione temporale tra l’inizio delle pubblicazioni massive e il declino del traffico c’era tutta.
Un’ultima osservazione, che è un’opinione e la dichiariamo come tale: l’esperimento è stato condotto con il ChatGPT del 2023, che non era esattamente un genio. I modelli attuali scrivono molto meglio. Ciononostante non crediamo che ripetere oggi l’esperimento con un modello più intelligente cambierebbe molto il risultato, perché (come vedremo tra poco) il problema non è la qualità della prosa ma la natura stessa del contenuto. Non abbiamo prove di questa affermazione, lo ammettiamo serenamente. Potremmo averle tra uno o due anni: su quel sito abbiamo in programma un secondo esperimento, di cui vi racconteremo a tempo debito.
Google ha già chi scrive per lui: Gemini
Arriviamo al punto che secondo noi manca in quasi tutte le analisi su questo tema, compresa quella di Taylor. Un punto che riguarda un cambiamento strutturale nel rapporto tra Google e i contenuti del web.
Google ha Gemini. Gemini è un modello linguistico in grado di generare testo su qualsiasi argomento, in qualsiasi momento, a un costo ridicolo. E allora poniamoci una domanda brutalmente economica: per quale motivo Google dovrebbe spendere il proprio budget per scansionare, renderizzare e archiviare la milionesima variazione di un contenuto che il suo stesso modello può generare in un millisecondo, senza nemmeno uscire da casa?
Mettiamo subito le mani avanti: Google non ha mai formulato la questione in questi termini, e quella che vi proponiamo è una nostra interpretazione, un ragionamento economico. Ma i conti tornano. Se il contenuto medio del web (il riassunto ben scritto, la guida generica, la lista dei “10 migliori qualcosa”) è ormai replicabile internamente e gratuitamente, indicizzarlo è diventato un costo puro, senza alcun ritorno. L’avarizia crescente di cui parliamo trova qui il suo compimento logico: Google non ha più bisogno dei nostri contenuti. Non di tutti, almeno.
Perché c’è un rovescio della medaglia, ed è la parte che ci interessa di più. Google ha ancora un disperato bisogno del web, ma solo di una parte precisa: le fonti primarie. Gemini e le AI Overview non possono generare da soli i dati freschi, i fatti verificabili, i prezzi aggiornati, le informazioni locali, i test condotti sul campo con numeri veri, l’esperienza diretta di chi un mestiere lo fa davvero. Questo materiale è la materia prima su cui le risposte generate dall’intelligenza artificiale si devono appoggiare per non inventare. Ed è esattamente il tipo di contenuto che Google continua, e continuerà, a cercare, scansionare e premiare.
In sintesi: Google non ha più bisogno dei vostri riassunti, ha bisogno delle vostre fonti primarie. Non è un caso che questa conclusione coincida con quanto Google stesso predica da anni con il framework E-E-A-T, dove la prima E sta per esperienza diretta, né con la passione recente del motore di ricerca per Reddit e Quora, cioè per contenuti sicuramente prodotti da esseri umani.
Cosa significa per il vostro sito
Bene, direte voi, figo. Ma in pratica? In pratica il quadro che abbiamo descritto si traduce in alcune indicazioni operative piuttosto chiare, valide per chiunque gestisca un sito, dal blog aziendale al portale di contenuti.
La prima è un test mentale da fare prima di pubblicare qualsiasi pagina: “Gemini potrebbe scrivere questa pagina da solo?” Se la risposta è sì, state chiedendo a Google di investire il suo budget in qualcosa che possiede già, e non ha alcun motivo di farvi questo favore. Se la risposta è no, perché la pagina contiene qualcosa che nessun modello può sapere, allora avete tra le mani un contenuto che merita di essere pubblicato.
La seconda è una questione di proporzioni: nell’economia attuale del crawling, dieci pagine con dentro qualcosa di vostro valgono più di cento pagine corrette ma replicabili. Ogni pagina inutile, ricordiamolo, non è neutra: pesa sull’inventario percepito e riduce il budget disponibile per le pagine che contano. In molti casi il modo migliore di migliorare l’indicizzazione di un sito non è aggiungere contenuti ma toglierne.
Cosa conta come “qualcosa di vostro”? I dati dei vostri test, come abbiamo fatto noi quando abbiamo parlato di come scegliere un plugin per WordPress partendo dalla nostra esperienza di gestione quotidiana. I casi dei vostri clienti, opportunamente anonimizzati. Le fotografie del vostro lavoro reale. I numeri delle vostre misurazioni, comprese quelle andate male: un esperimento fallito raccontato con onestà vale più di dieci successi inventati. Sono tutti contenuti coerenti con quel fattore contenuti di cui abbiamo parlato in passato, portato però alle conseguenze dell’era attuale.
Ultima precisazione, per evitare fraintendimenti: l’intelligenza artificiale come strumento di lavoro resta perfettamente legittima, e lo dice Google stesso nelle sue linee guida. Il problema non è usare l’AI per riorganizzare una bozza, correggere un testo o velocizzare la ricerca. Il problema è usarla per produrre volume senza valore, delegandole non la forma ma la sostanza. La differenza tra i due approcci è esattamente la differenza tra i siti che continueranno a essere indicizzati e quelli che scivoleranno fuori dall’indice, un URL alla volta.
E se vi rendete conto che il vostro sito è pieno di pagine che Google ha smesso di considerare, il problema potrebbe non essere tecnico ma editoriale. Capire quali contenuti tenere, quali aggiornare e quali eliminare è una parte importante del lavoro di ottimizzazione per i motori di ricerca che facciamo per i nostri clienti, e vi possiamo assicurare che è un lavoro sempre più richiesto.
Conclusioni
Lo squalo non è morto, è solo diventato un gourmet. Google continua a scansionare il web con mezzi che nessun altro possiede, ma ha smesso da tempo di mangiare tutto quello che gli passa davanti, e l’arrivo dei contenuti generati in massa con l’intelligenza artificiale ha reso questa selettività una necessità di sopravvivenza economica. Il budget di Google esiste, è limitato, e viene assegnato a chi pubblica cose che Google non può ottenere altrove, men che meno generarsele in casa.
La buona notizia, per chi ha un sito con contenuti veri, è che la concorrenza per quel budget si sta diradando: mentre milioni di pagine fotocopia scivolano fuori dall’indice, lo spazio per le fonti primarie aumenta. La cattiva notizia, per chi sperava nella scorciatoia, è che la scorciatoia si è rivelata un vicolo cieco. Noi l’abbiamo imboccato apposta, con un sito sacrificabile: oltre 350 ore di lavoro per ottenere una risposta. Che poi, a pensarci bene, buttate non sono: quelle ore hanno prodotto l’unica cosa che oggi ha davvero valore, un dato di prima mano.
E voi che ne pensate? Avete notato anche voi pagine che Google si rifiuta di indicizzare? Da quando avete iniziato ad accorgervene? Raccontatecelo nei commenti.
