熟悉 Django, Flask, Sanic 等 Web 框架
熟练 linux 开发环境
熟悉 scrapy, scrapy-redis, aiohttp 等异步爬虫框架
熟练 selenium, pyppeteer, airtest, u2 等自动化框架的使用
熟练 js 逆向分析, app 抓包, sekiro 群控, xposed 等 hook 框架的使用
熟练运用 frida 等进行 hook 某些 app, 熟悉安卓脱壳以及小程序的反编译
掌握 Mysql, Mongo, Redis 等常用数据库的操作
熟练 docker,具有大规模数据采集经验
了解 Android 基础正向开发
熟悉常见反爬场景,比如封账号,封 IP,验证码及相关解决方案
主导过爬虫系统的构建
采集国内(淘宝,拼多多,京东,抖音,快手,小红书等二十多)大部分电商的公开的商品信息,包含搜索,详情,店铺内的信息等,并与后端以及大数据,算法进行数据的共享对接,对数据流程的规范化管理。
对淘宝,拼多多,唯品会等大型网站进行js逆向,进行加密参数的还原,通过协议请求获取商品的公开数据。
使用 sanic 框架开发一套后台群控调度系统,开辟自动化的方式获取采集数据的新途径。
对于一些复杂度较高的app且实时性要求较高的 api,采用对外暴露接口的方式以供后端实时调用。