爬行抓取

什么是 CrawlNScrape？

CrawlNScrape 有助于在互联网上进行爬行，跟踪从一个网站到另一个网站的链接，到处查看，了解道德互联网爬行和 HTML 抓取的介绍。这是一次真正的爬行，穿越互联网的不熟悉甚至未知的方面。

CrawlNScrape 允许您访问任意网站以提取那里可能找到的任何数据 - 技术位，例如 HTML 代码、图像、图标、作者、描述、关键字、元数据、表单数据、媒体的详细信息，尤其是 IP 地址、地理信息位置和链接 - 更特别的是 - 到其他网站的链接！

使用 CrawlNScrape，网络爬行尽在您的控制之下。典型的网络爬虫（例如 Google 机器人）会获得一组“种子站点”，并可以自由地进行爬行和抓取。使用 CrawlNScrape，您就是机器人，CrawlNScrape 是您的爬行和抓取工具。您可以控制种子站点的选择、您将访问哪些站点以及您将抓取哪些数据。

如果您对互联网爬行和网站抓取感兴趣，您应该喜欢使用此应用程序。在您熟悉如何选择 | 之前，这可能会很乏味。复制 | 将如何使用 The Stack 粘贴到您的设备上，直到您适应爬行的速度！直到您发现哪些网站是您特定兴趣的“好种子” - 最好是那些拥有许多站外链接的网站。

道德 HTML 抓取...

网络爬虫应遵守 robots.txt 设置的规则。CrawlNScrape 为您提供了以这种方式工作的工具。HTML 抓取就像任何其他工具一样 - 您可以将它用于好的东西，也可以将它用于坏的东西。HTML 抓取本身并不违法，但这并不意味着您可以抓取任何您想要的网站。某些网站明确禁止通过 robots.txt 文件或其服务条款页面提取数据。CrawlNScrape 为您提供了下载和研究 robots.txt 文件的工具，因此您可以选择访问或不访问各个站点，以及根据需要抓取或不抓取各种文件夹和文件。

深网！

使用 CrawlNScrape，您可以收集您可能想要提取 HTML 代码和数据的页面的 网址。深度爬网的想法是在任何网页中搜索链接，尤其是指向其他网站的链接。然后探索这些网站以获取其他国家/地区的进一步链接。然后继续深入万维网。

从一开始看，CrawlNScrape 有实用的入门课程来帮助您入门。另外，您会发现您可以退出到任何其他应用程序，例如 Google 地图、Google 搜索、文本编辑器和您最喜欢的浏览器，然后返回 CrawlNScrape，同时在 Stack 中保持“面包屑”完整，这样您就可以去任何地方是一个可以去探索那里的一切的地方，并且相信您可以再次回到那里。

预览版就在这里，现在！

本介绍性爬网首先概述了 CrawlNScrape 菜单选项，以便您了解应用程序的结构和流程。然后，它开始在美国亚利桑那州凤凰城的 https://www.example.com 上进行爬行，并通过互联网访问瑞典斯德哥尔摩。之后，您也许可以计划加入开放测试组并继续穿越瑞典斯德哥尔摩的旅程；伦敦，英国;爱尔兰都柏林;而且，好吧，去任何地方……

...看看你能看到什么

点击此链接即可开始...

https://mickwebsite.com/MMWebSite/IntroductoryCrawl.html

米克

[email protected]