需要爬取互联网上大量的数据，为此我设计了一个系统，已正常投入使用。
用于数据分析(挖掘数据中有价值的信息)，用于模型的训练数据(人工智能)
部分网站，加了防火墙，限制访问次数，和人机验证等防御操作，为次也做相应解决方案。
由于要爬取的数据量庞大，为了加快爬取速度，做了很多 高性能方面的优化。