熟悉python,js,java,smail语言
熟悉爬虫技术,js逆向和安卓逆向
熟悉mysql,存储引擎,索引,事务隔离级别,悲观锁乐观锁,redis消息中间件
熟悉jadx,Frida,xposed,jeb等逆向技术,熟悉apk脱壳,反编译技术
熟悉Django,Flask框架,scrapy框架
熟悉docker容器技术,linux 常用命令
爬虫:抖音视频评论接口采集和抖音直播弹幕数据爬取
知乎,小红书,京东,拼多多数据采集,通过逆向接口算法加密值后采集数据
破解网易易盾滑块、点选验证码;百度旋转验证码和极验等验证码风控
股票行情系统--后端开发
1. 该股票行情系统在股票交易时间具有实时推送股票最新数据的功能,主要功能有市场情 绪,展示股市大盘的涨跌数,A 股排行榜实时更新数据,股票 k 线数据,用户自选股等功能。 2. 主要负责行情数据订阅、处理、行情数据推送,技术指标算法实现,接口开发,参与各 模块功能的设计与开发;阅读官方文档重写 django channels 的 WebsocketConsumer 方法
2. 使用 django channels 开发,基于 websocket 协议,服务端向客户端主动推送行情数据, 数据实时性和稳定性提高 70%;使用 kafka 消息中间件和高吞吐和解耦的特性,解决行情登 录点个数限制问题;通过Redis技术缓存股票历史数据,缓解网站的访问压力和数据库的读 写压力;使用 celery 执行定时任务。
3. 技术栈:Django channels,Websocket,Celery,Redis,Kafka,Mysql
1. 该股票行情系统在股票交易时间具有实时推送股票最新数据的功能,主要功能有市场情 绪,展示股市大盘的涨跌数,A 股排行榜实时更新数据,股票 k 线数据,用户自选股等功能。 2. 主要负责行情数据订阅、处理、行情数据推送,技术指标算法实现,接口开发,参与各 模块功能的设计与开发;
爬取京东网站商品的数据,该商品接口加密参数为h5st,需要逆向这个参数方可采集数据,主要涉及到js逆向技术。
爬取京东网站商品的基本数据,包括价格,标题等信息,商品接口有个h5st加密参数需要逆向才可以采集数据。