La profondità di Crawling è un tecnicismo che rientra nella Strategia SEO di un’Azienda.
La prima domanda che ci poniamo è:
Perché la strategia SEO è così importante per il posizionamento di un’Azienda?
Vogliamo essere primi nei risultati della SERP di Google (elenco dei risultati quando facciamo una ricerca).
Per raggiungere questo importante obiettivo la nostra Strategia di Marketing, Comunicazione e SEO deve tenere in considerazione molteplici fattori:
- Qualità dei contenuti
- Posizionamento dei Competitors
- Parole chiave utilizzate dagli utenti per effettuare le ricerche
- Organizzazione dei contenuti sul nostro sito (Albero di navigazione)
- Presenza delle parole chiave nei contenuti pubblicati sul nostro sito
- Inserimento di link interni al sito per migliorarne la navigabilità (Strategia di link building interna)
- Posizionamento di articoli e contenuti che parlano di noi, su siti di terze parti, che contengono un link verso il nostro sito (Strategia di link building esterna)
Come gestire la profondità del crawling lato SEO
Quando parliamo di crawling SEO, intendiamo quel processo messo in atto da tutti i motori di ricerca, per raccogliere le informazioni da ciascun sito web.
Mi spiego meglio.
Google, per verificare le informazioni di un sito, utilizza un esercito di ragni (spider, o bots), che vagano per il web con l’obiettivo di catturare le informazioni più rilevanti, a seconda di specifiche parole chiave.
Quindi, per farci trovare dall’esercito a 8 zampe di Google, a questi ragni dovremo dar da mangiare… non credi?
Qui entra in gioco la nostra Strategia SEO, che ci aiuta a scalare la classifica del posizionamento di Google, grazie alle parole chiave e ai contenuti di valore che andremo a realizzare.
Ma andiamo per gradi.
Alla fine di questo articolo ti sarà chiaro il funzionamento del crawling SEO, e potrai utilizzare tutte queste informazioni per migliorare la Strategia di Marketing e Comunicazione per la tua Azienda.
Crawling Web, la scansione dei motori di ricerca
Il crawling web (dall’inglese “scansione web”), è il processo messo in atto dagli spider di Google per visitare una pagina, scaricarla e verificare i collegamenti esterni.
In questo modo, il nostro esercito di ragni ha la possibilità di catturare informazioni aggiuntive, anche dalle pagine correlate grazie alla link building.
Più la nostra pagina sarà in grado di attirare gli spider, più spesso verrà scansionata dai crawler web, alla ricerca di aggiornamenti e modifiche ai contenuti.
Quindi, se nutriamo gli spider di Google costantemente, e con contenuti di qualità, saranno incentivati a tornare da noi.
Al contrario, se tentiamo di sfamarli con “cibo spazzatura”, o contenuti triti e ritriti, si annoieranno presto e cercheranno maggiore qualità altrove.
Parlare di ragni, e dei metodi con il quale sfamarli, spaventa anche me. Però spero di aver reso l’idea.
Come funziona la scansione web?
Come abbiamo detto, i motori di ricerca utilizzano spiders (o bots) per scoprire le pagine web più interessanti, e analizzarle da capo a piedi. O meglio, dall’header (testata della pagina di un sito) al footer (piede della pagina di un sito).
E questi spiders vengono definiti crawler web.
Per prima cosa, tutti i crawler iniziano la scansione scaricando il file robots.txt.
Questo file è importantissimo, in quanto riporta le informazioni delle sitemap, gli URL, e funge da guida per i motori di ricerca, consigliando quali pagine del sito web scansionare, oppure no.
Il crawling SEO, come la maggior parte dei processi web, funziona tramite uno speciale algoritmo. Questo serve a stabilire con quale frequenza i crawler web devono scansionare una pagina, e quante (e quali) pagine del sito meritano di essere indicizzate.
Per esempio, una pagina che viene costantemente aggiornata o modificata, ha più probabilità di essere scansionata più volte, rispetto a una sezione che riporta aggiornamenti di rado.
La scansione di file multimediali (non testuali)
Generalmente, tutti i motori di ricerca tentano di scansionare, e indicizzare, tutti gli URL che trovano lungo il loro cammino.
Tuttavia, se un particolare URL rimanda a un file non testuale, come per esempio un’immagine, un video o un file audio, i crawler saranno in grado di leggere solo alcuni dati associati a questo tipo di file. Come il nome, o i loro metadati associati.
Ma non diamoci per vinti.
Nonostante i motori di ricerca siano in grado di leggere solo alcune informazioni dei file non testuali, abbiamo comunque la possibilità di indicizzarli, per fare in modo di generare traffico verso il nostro sito.
Per saperne di più, leggi qui: Come realizzare la SEO delle immagini per Google.
Scansione ed estrazione dei collegamenti
I crawler dei motori di ricerca, scoprono nuove pagine online eseguendo la scansione di un sito web che già conoscono, e delle sue pagine.
Una volta individuati gli internal links delle pagine sottoposte a scansione, procedono all’estrazione dei collegamenti. Per trovare nuovi URL, da cui reperire ulteriori informazioni.
Quindi, utilizzare una strategia di Link Building interna, oltre ad offrire una migliore esperienza agli utenti, visitatori del nostro sito, permette ai crawler di reperire sempre più informazioni, rendendo più interessante la nostra pagina ai loro “occhi”.
In questo modo, incentiviamo l’azione degli spider ad eseguire una nuova scansione delle pagine del nostro sito, rendendole sempre più appetibili, e indicizzate, dai motori di ricerca.
Sitemap
La scansione delle sitemap è un’altra tecnica utilizzata dai motori di ricerca per trovare nuove pagine sul web, da cui reperire informazioni.
Le sitemap sono file con estensione .xml che contengono l’elenco dei contenuti da indicizzare del vostro sito.
Sono un ottimo strumento per fornire ai motori di ricerca un vero e proprio elenco delle pagine da scansionare e indicizzare.
All’interno delle sitemap, è possibile includere anche altre pagine del nostro sito, dove per esempio i crawler possono trovare contenuti più “nascosti”.
Se il vostro sito internet è sviluppato in WordPress vi consigliamo di utilizzare la plugin Yoast Seo che offre tantissime importanti funzionalità per la redazione dei contenuti nel rispetto delle regole e della vostra Strategia SEO.
Una di queste funzionalità riguarda proprio la creazione ed aggiornamento delle sitemap del sito.
Nell’immagine è riportato l’elenco delle sitemap xml del nostro sito generato direttamente dalla Plugin Yoast SEO. Come potete vedere sono suddivise per tipologia di contenuto, in questo modo Google sa, fin da subito, se una sitemap contiene degli articoli, oppure dei prodotti, tag, categorie etc.
Una volta generate le Sitemap con Yoast Seo è fondamentale notificarle a Google Search Console, il servizio gratuito di Google che ci consente di verificare ed ottimizzare al meglio la strategia SEO del nostro sito internet.
Procedura per inviare la Sitemap a Google Search Console
Per inviare la sitemap a Google Search Console di un sito web realizzato con WordPress e completo della plugin Yoast SEO è sufficiente:
- Digitare questa stringa https://nomesito/sitemap_index.xml tipo: https://www.factorycommunication.it/sitemap_index.xml
- Verificare che siano presenti le sitemap
- Accedere al vostro Account di Google Search Console. Se non l’avete potete effettuare la registrazione gratuita utilizzando una Gmail
- Cliccare su “Sitemap” presente nella barra laterale sinistra
- Aggiungere le sitemap del proprio sito tramite la parte finale dell’url tipo “post-sitemap.xml”
- Per terminare la procedura è sufficiente cliccare INVIA. Se aggiornate la pagina potete verificare se la sitemap è stata aggiunta correttamente
Successivamente è possibile utilizzare la funzionalità “ping” per richiedere la scansione delle Sitemap da parte di Google.
Per fare questo è sufficiente inviare una specifica richiesta a Google utilizzando una stringa come questa:
http://www.google.com/ping?sitemap=<url_completo_della_sitemap>
Ad esempio:
http://www.google.com/ping?sitemap=https://www.factorycommunication.it/category-sitemap.xml
Strumenti da utilizzare per una corretta indicizzazione del sito
Esistono alcuni strumenti online che possono essere di grande aiuto nell’indicizzazione delle nostre pagine web.
Noi di Factory Communication, in quanto Agenzia di Marketing e Comunicazione, te ne consigliamo alcuni. In perfetto stile Inbound:
Con questo articolo spero di aver sciolto qualche dubbio in merito al crawling SEO.
Tuttavia se hai delle perplessità, scrivici nei commenti le tue domande.
Saremo lieti di sciogliere qualsiasi tuo dubbio.
Vuoi scoprire come indicizzare il tuo sito? Leggi gli articoli su questo argomento:
