精通python 爬虫,精通app爬虫,网站爬虫,视频爬虫等。熟悉网络通信原理,以及会话机制技术(cookie、session)。
自动化运维(熟练掌握selenium,appium,win32api)。
写过国内外各大型网站和部分app的爬虫,用到的技术有:js逆向、cookie、session会话技术、selenium等技术
写过一个私用QQ机器人
使用scrapy框架定时定点爬取各网站数据,对返回的数据进行解析,获取标题,点赞数,分享数,讨论数,播放数等各类型数据
采集某行业网信息数据,对采集的数据进行清洗,过滤,分表,存储 ,采用BeautifulSoup,xpath,selenium,requests,使用多线程技术,兼容性超强,报错自动重启,断点续采