Crawling Web. Cos’è?
Quando parliamo di crawling web (dall’inglese = scansione web), intendiamo quel processo messo in atto da tutti i motori di ricerca, per raccogliere le informazioni dalle pagine di ciascun sito web.
Per verificare le informazioni di un sito, i motori di ricerca come Google, utilizzano dei veri e propri ragni (definiti spider, o bots), che esplorano il mondo web, alla ricerca di informazioni rilevanti, a seconda di specifiche parole chiave.
Questi ragni, i cosiddetti crawler web, visitano le pagine del nostro sito, le scaricano, e controllano anche i collegamenti che portano all’esterno della pagina.
Infatti, grazie alla link building, gli spider possono attingere a più informazioni possibili, relativi a un determinato argomento. Seguendo quindi anche i collegamenti esterni alla pagina.
Per questo motivo è fondamentale che i nostri link siano sempre coerenti.
Gli spider possiamo dire che sono una vera e propria metafora del funzionamento della scansione web.
Infatti, più offriamo a questi ragni qualcosa di cui nutrirsi (i nostri contenuti), più saranno incentivati a tornare sul nostro sito. E scansionare nuovamente tutte le nostre pagine.
Ovviamente ciò che offriamo agli spider deve essere di qualità.
Diversamente, gli spider tenderanno ad orientarsi verso altri siti. Magari quelli dei nostri competitors.
