能够熟练的在 Windows、Linux 上进行 python 编程,能够熟练掌握 Linux 常用命令
能够熟练掌握 Python urillib、request 等网络爬虫模块
能够熟练使用 lxml、json、xpath 、正则表达式等模块的数据提取
能够快速处理简单验证码识别,图片抓取、使用 Cookie 登录等
熟悉使用 Selenium 实施动态 HTML 抓取
通过邮件发送功能,查看每天抓取的数量情况。通过编写 shell 脚本,实时更新数据
通过 flask 编写网络完全工具的开发,主要是 sqlmap,nessus,wvs,nmap 等。
逆向解析问题(可以不用 selenium )登陆,以及翻页问题
使用 Celery 异步进行分布式抓取,钉钉报送抓取的异常以及报送每天抓取的那个数据量
抖音头条抓取
通过 APP 抓取抖音、头条信息
结果头条、抖音网页端的_signature 加密参数
解决头条 APP 加密参数
解决抖音的 X-Gorgon 参数
解决手机设备信息
对 Xpost、Auto.js、 frida 等工具的使用
对 jadx、IDA等使用