我正在使用开发一个Web爬行项目 蟒蛇 和 Scrapy 框架。它抓住了通道 10k网页 来自电子商务购物网站。整个项目工作正常但在将代码从测试服务器移动到生产服务器之前我想选择一个更好的代理ip提供商服务，这样我就不用担心我的 IP阻止 或拒绝访问我的蜘蛛网站。
到目前为止，我在Scrapy中使用中间件手动从各种网站提供的免费代理ip列表中旋转ip 喜欢这个
现在我对我应该选择的选项感到困惑
购买 高级代理列表 从 http://www.ninjasproxy.com/ 要么 http://hidemyass.com/
使用 TOR
使用 VPN服务 喜欢 http://www.hotspotshield.com/
任何选项都优于上述三项
以下是我目前使用的选项（取决于我的需求）：
后一种解决方案是目前最适合我的解决方案，每天可以提供大约20-30GB的流量而没有任何问题。
以下是我目前使用的选项（取决于我的需求）：
后一种解决方案是目前最适合我的解决方案，每天可以提供大约20-30GB的流量而没有任何问题。
Crawlera 专为Web爬网项目而构建。例如，它实现了智能算法以避免被禁止，并且它用于抓取非常大和高调的网站。
免责声明：我为母公司工作 Scrapinghub，他也是Scrapy的核心开发人员。
如果您不想使用付费服务，请考虑使用scrapy库，它将为您自动旋转代理： https://github.com/TeamHG-Memex/scrapy-rotating-proxies
您可以在这里查看有关如何自动化它的完整教程： https://tinyendian.com/articles/how-to-scrape-the-web-and-not-get-caught
请记住，通过代理连接时总是会造成性能损失，但是 10K 您提到的网页仍然在您的掌控之中。