熟悉python爬虫技术,熟悉requests、selenium、scrapy、xpath、re,bs4等工具以及模块编写爬虫程序进行内容抓取,对抓取到的数据进行过滤,分表存储。 熟悉scrapy框架,redis,mongodb ,可以做到静态抓取,动态抓取,以及解码 ,会JavaScript网页逆向,逆向破解表单POST登录,返回数据解密,发送数据加密等,分布式爬虫,爬虫监控图形化
爬取过网易云音乐,BTC,微信公众号文章,tiktokshop后台表单,selenium自动化登录各种网站,session保持会话登录爬取等
角色 | 职位 |
负责人 | python爬虫工程师 |
队员 | 后端工程师 |
这里只展示了之前通过JavaScript逆向进行对网站的逆向获取表单数据进行获取加密过后获取的数据,中国文书网等
这里对国内知名短视频分析网站红人点集进行JavaScript逆向破解登录获取登录后红人点集中的数据,这个网站难度较大,但是还是被我破解进行数据 爬取