CrawlNScrape

Cos'è CrawlNScrape?

CrawlNScrape facilita la scansione in Internet, seguendo i collegamenti da un sito Web all'altro, sbirciando qua e là, ottenendo un'introduzione alla scansione etica di Internet e allo scraping HTML. Questa è una vera e propria scansione attraverso aspetti sconosciuti e forse sconosciuti di Internet.

CrawlNScrape ti consente di visitare siti Web arbitrari per estrarre qualsiasi dato possa essere trovato lì: parti tecniche come dettagli del codice HTML, immagini, icone, autore, descrizione, parole chiave, metadati, dati di moduli, media e soprattutto indirizzi IP, dati geografici Posizioni e link - ma soprattutto - link ad altri siti web!

Con CrawlNScrape la scansione del web è sotto il tuo controllo. A un tipico web crawler come un bot di Google viene fornita una serie di "siti seed" e viene lasciato libero di eseguire la scansione e lo scraping. Con CrawlNScrape, tu sei il bot e CrawlNScrape è il tuo strumento per eseguire la scansione e lo scraping. Sei tu a controllare la scelta del sito seed, quali siti visiterai e quali dati raccoglierai.

Se sei interessato alla scansione di Internet e allo scraping di siti Web, dovresti divertirti a lavorare con questa app. Può essere noioso finché non si acquisisce familiarità con la modalità Seleziona | Copia | Incolla sul tuo dispositivo, come utilizzare The Stack, finché non ti adatti al ritmo della scansione! e finché non scopri quali siti web sono “buoni semi” per i tuoi interessi particolari, preferibilmente quelli con molti collegamenti esterni.

Scraping HTML etico...

Il web crawler dovrebbe rispettare le regole stabilite da robots.txt. CrawlNScrape ti offre gli strumenti per lavorare in questo modo. Lo scraping HTML è proprio come qualsiasi altro strumento: puoi usarlo per cose buone e puoi usarlo per cose cattive. Il fatto che lo scraping HTML in sé non sia illegale non significa che puoi eseguire lo scraping di qualsiasi sito desideri. Alcuni siti vietano esplicitamente l'estrazione dei dati tramite il file robots.txt o la pagina dei Termini di servizio. CrawlNScrape ti offre gli strumenti per scaricare e studiare il file robots.txt, così puoi scegliere di visitare o non visitare singoli siti e di raschiare o non raschiare varie cartelle e file, a seconda dei casi.

Il Web profondo!

Con CrawlNScrape puoi raccogliere URL di pagine da cui potresti voler estrarre il codice HTML e i dati. Con Deep Crawling l'idea è quella di cercare collegamenti in qualsiasi pagina Web, in particolare collegamenti ad altri siti Web. Quindi esplora quei siti per ulteriori collegamenti, ad altri paesi, ovunque. Quindi continua, sempre più in profondità, nel World Wide Web.

Dalla vista iniziale CrawlNScrape offre lezioni pratiche e introduttive per iniziare. Inoltre scoprirai che puoi uscire su qualsiasi altra app come Google Maps, Ricerca Google, un editor di testo e il tuo browser preferito, quindi tornare a CrawlNScrape mantenendo intatti i tuoi "breadcrumb" in The Stack, così puoi andare ovunque è un posto dove andare ed esplorare tutto ciò che si trova lì, con la certezza che potrai tornarci di nuovo.

Un'anteprima è disponibile proprio qui, proprio ora!

Questa scansione introduttiva inizia con una panoramica delle opzioni del menu CrawlNScrape in modo da acquisire una comprensione della struttura e del flusso dell'app. Inizia quindi la scansione su https://www.example.com a Phoenix, Arizona, Stati Uniti e i tour su Internet fino a Stoccolma, Svezia. Successivamente, potresti forse pianificare di unirti all'Open Test Group e continuare questo tour attraverso Stoccolma, Svezia; Londra, Inghilterra; Dublino, Irlanda; e, beh, ovunque...

…per vedere quello che puoi vedere

Segui questo link per cominciare…

https://mickwebsite.com/MMWebSite/IntroductoryCrawl.html

Mick

[email protected]