Cos’è il Data Scraping e le sue applicazioni per l’Analisi Dati

Scritto da

Talent Garden

Non ti va di leggere? Prova ad ascoltare l'articolo in modalità audio 🎧

Il Data Scraping è un argomento particolarmente vasto che riguarda diversi contesti, dall’ottimizzazione dei contenuti per i motori di ricerca alle analisi di mercato, dalle strategie commerciali alla sicurezza informatica. Cerchiamo quindi di capire in cosa consiste questo insieme di tecniche e in quali ambiti può essere utilizzato per la valorizzazione dei dati.

Scraping: cos’è

Nella sua accezione più ampia il Data Scraping è un processo attraverso cui un’applicazione estrae informazioni dall’output generato da un altro software. Nel caso specifico del Web lo Scraping consiste nel prelevare dati dalle pagine di un sito Internet, classificarli in base alle loro caratteristiche, suddividerli per categorie e archiviarli all’interno di un database. Un esempio di Scraping può essere proposto facendo riferimento ai motori di ricerca, piattaforme come Google infatti effettuano una scansione costante del Web attraverso dei software chiamati crawler (o spider) che operano in automatico per l’individuazione e l’analisi dei contenuti. Le ricerche degli utenti vengono formulate in base a stringhe di testo contenenti parole chiave e, dato che lo scopo di Google è quello di fornire delle risposte quanto più precise possibili a tali interrogazioni (o query), il suo crawler estrae testi o porzioni di testo dai siti Internet in modo da avere dei dati utili con cui proporre dei risultati. Questi ultimi vengono proposti attraverso la SERP (Search Engine Results Page) e posizionati in base a diversi criteri, come per esempio la loro rilevanza, la qualità dal punto di vista della user experience e l’autorevolezza della fonte, con cui vengono valorizzati i dati ricavati tramite Scraping.

Uso illecito dello Scraping

Lo Scraping non è sempre un’attività lecita, basti pensare al caso delle attività di estrazione dei dati finalizzate alla duplicazione non autorizzata dei contenuti. In situazioni come queste l’esito di tali tecniche può arrivare fino alla violazione del diritto d’autore, soprattutto quando quest’ultimo non viene citato e la sua opera viene riportata in toto o in parte per fini di lucro. Lo Scraping può essere inoltre al centro di azioni malevole volte a sottrarre dati utili per campagne di phishing, furti d’identità e attacchi informatici di altra natura. Per queste ragioni in passato social network frequentati da buona parte della popolazione mondiale come Facebook e LinkedIn sarebbero stati al centro di attività di Scraping con la sottrazione di dati appartenenti a centinaia di milioni di utenti. A rendere ancora più preoccupante il fenomeno è il fatto che per effettuare lo Scraping di un sito Web non è necessario violarne il database ma è sufficiente scansionarne le pagine disponibili pubblicamente, i software per lo Scraping non sono inoltre considerati illegali e possono essere utilizzati per attività di Data Analysis. Detto questo è comunque bene precisare che il GDPR, cioè il regolamento generale sulla protezione dei dati in vigore nell’Unione Europea, considera anche il solo accesso ai dati personali come “trattamento” e le tecniche di Scraping devono essere quindi utilizzate tenendo conto di tutte normative in materia di tutela della privacy.

Scraping per l'analisi dei dati

Lo Scraping è per sua natura un processo Data Driven così come lo sono le aziende che lo sfruttano per definire le proprie strategie commerciali e di marketing. Ma quali sono i settori in cui le sue tecniche si rivelano più proficue? Analizziamone alcuni.

Analisi dei testi ed estrazione delle keyword

Il successo dei contenuti pubblicati online è determinato da diversi fattori tra cui il traffico che sono in grado di generare e l’aderenza con i trend di attualità. Da questo punto di vista può essere utile un’analisi continua dell’offerta proposta da altri content creator e dalla concorrenza, un processo del genere può rivelarsi però molto impegnativo quando operato manualmente ed è per tale motivo che lo Scraping diventa prezioso. Un discorso molto simile può essere fatto per le campagne di digital marketing, spesso alla base della già citata creazione dei contenuti, per il buon esito delle quali è utile sapere quali contenuti vengono accolti con maggior favore e sono più ricercati dagli utenti determinando una tendenza. Per massimizzare la competitività diventa quindi fondamentale un lavoro che permetta di individuare le keyword di maggior impatto e, nello stesso tempo, di trovarne di nuove con potenzialità di crescita elevata. Si utilizza quindi lo Scraping per estrarre i testi o gli hashtag pubblicati in piattaforme differenti, raggrupparli in categorie e sottoporli a processi di keyword extraction per disporre delle parole chiave da inserire nei propri contenuti così come nelle campagne pubblicitarie.

Analisi dei prezzi

Un altro settore in cui lo Scraping viene utilizzato diffusamente per le decisioni aziendali riguarda i prezzi. Soprattutto le imprese che vendono prodotti ad alto tasso di concorrenza hanno infatti la necessità di sapere se i prezzi praticati sono competitivi o se devono essere rimodulati in modo da garantire il giusto bilanciamento tra remunerazione e parametri di mercato. In questo caso lo Scraping viene impiegato per individuare un dato preciso e lo scopo è quello di realizzare un database sempre aggiornato con cui poter effettuare delle analisi comparative e a cui fare riferimento per la definizione delle strategie di prezzo. Un’attività di questo genere può rivelarsi particolarmente utile anche per la proposta di sconti, promozioni e offerte o in periodi in cui la propensione all’acquisto diventa più forte come quelli del Black Friday, del Cyber Monday o in generale dello shopping natalizio.

Alcuni tool utili per lo Scraping

Grazie alla disponibilità di alcuni strumenti no-code oggi lo Scraping è divenuta una procedura più semplice che non necessita di competenze avanzate in tema di programmazione. Alla base delle tecnologie per lo Scraping vi è infatti uno standard chiamato XPath, in pratica un linguaggio che fa parte della famiglia XML (eXtensible Markup Language) con cui è possibile individuare, o per meglio dire localizzare, i nodi di un documento. Esso permette di scrivere delle espressioni con cui accedere direttamente ad elementi specifici di una pagina HTML, come appunto una pagina Web, ed è quindi ideale per l'estrazione di testi. Esistono diversi tool che consentono di effettuare attività di Scraping senza dover scrivere delle espressioni XPath o permettendo di integrare queste ultime quando necessarie, analizziamone alcuni.

Google Sheets

Google Sheets è uno strumento realizzato da Mountain View con cui creare e modificare fogli di lavoro, nel caso dello Scraping esso offre una delle sue funzionalità più importanti tramite IMPORTXML.

fonte.(google.com)

Quest’ultima consente di importare informazioni da diversi formati per i dati strutturati come per esempio XML, HTML, CSV, RSS e ATOM. Grazie ad esso, utilizzando Google Sheets è possibile importare dati direttamente dai siti Web e creare delle tabelle pronte all’uso utilizzando come fonte contenuti prelevati online.

Scraper

Scraper è un’estensione gratuita del browser Web Google Chrome che consente di estrarre porzioni specifiche di una pagina Internet. I dati così raccolti possono essere inseriti in un foglio di lavoro per successive attività di analisi.

Si tratta in sostanza di una soluzione per il data mining che semplifica le operazioni di ricerca online ed è compatibile con XPath, in questo modo gli sviluppatori hanno la possibilità di realizzare degli script appositamente concepiti per l’interazione con le informazioni raccolte.

Screaming Frog

Screaming Frog è un tool particolarmente indicato per le attività di Web Scraping finalizzate alla SEO (Search Engine Optimization). La piattaforma offre infatti un SEO Spider Tool per l’estrazione di dati dai siti Internet.

fonte:(screamingfrog.co.uk)

L’esperienza d’uso può essere personalizzata tramite espressioni XPath, nella sua variante CSSPath che consente di utilizzare i selettori CSS (Cascading Style Sheets) per l’individuazione dei dati e utilizzando le espressioni regolari per definire dei pattern di ricerca.

Conclusioni

Lo Scraping consente di estrarre dati da output di applicazioni e pagine Web tramite tool e processi automatizzati, il suo ruolo nell’analisi dei dati assume un ruolo sempre più rilevante in quanto consente di accedere ad informazioni preziose per il digital marketing, la SEO, le strategie di prezzo, i processi di business Data Driven e le decisioni aziendali.

Articolo aggiornato il: 30 agosto 2023

Scritto da

Talent Garden, Digital Skills Academy

Cos’è il Data Scraping e le sue applicazioni per l’Analisi Dati

Scraping: cos’è

Uso illecito dello Scraping

Scraping per l'analisi dei dati