1. Experience of building a large Distributed web crawler system (50,000 lines code, including 500+ different websites or applications, 10million data extracted)
2. Extracted data from 30+ dark websites.
3. Experience of popular websites extracting: Kuaishou, JD, Weibo, Taobao, Amazon, Bilibili
4. Data mining and visualization
5. CAD&CG: OCR, Tensorflow, Opencv, Pillow, Captcha cracking
6. Other Skills: Scrapy, puppetter, redis, celery, Mongodb, Appium, Selenium, Django, linux, Semantic Web, Ontology, Vue.js, Javascript, HTML, JAVA, Python
7. Other Skills_2: 接码,打码,代理,各种验证码破解,js破解,逆向,移动应用爬虫等
大型分布式爬虫系统
1. 负责威胁情报的数据获取/分析/可视化/数据运营
2. 独自开发测试运营大型分布式爬虫系统,爬取数据源500+(暗网/外网/公网/Twitter/移动应用等), 数据1000万以上
kuaishou爬虫
Kuaishou视频/直播数据,15个维度数据,数据日更,稳定性高
爬取Kuaishou视频/直播数据,接码/打码/滑块验证/IP代理/服务器维护/自动化登陆/自动化爬取/数据清洗/数据导出/数据可视化/反爬绕过
weibo爬虫
weibo数据,15个维度数据,数据日更,稳定性高 爬取Kuaishou视频/直播数据,接码/打码/滑块验证/IP代理/服务器维护/自动化登陆/自动化爬取/数据清洗/数据导出/数据可视化/反爬绕过
1. 负责威胁情报的数据获取/分析/可视化/数据运营 2. 独自开发测试运营大型分布式爬虫系统,爬取数据源500+(暗网/外网/公网/Twitter/移动应用等), 数据1000万以上
Kuaishou视频/直播数据,15个维度数据,数据日更,稳定性高 爬取Kuaishou视频/直播数据,接码/打码/滑块验证/IP代理/服务器维护/自动化登陆/自动化爬取/数据清洗/数据导出/数据可视化/反爬绕过