爬虫: 掌握逆向分析技能(JS逆向破解/APP逆向破解),熟悉各反反爬原理和解决方法,各网页/APP端复杂抓包技,(chrome fiddler ssl验证 双向认证),熟练使用逆向工具(JS调试,IDA FRIDA JADX APKTOOL), 颜文字混淆,符号混淆,5秒检测,简单控制流平坦化逆向, app抓包以及常用框架(pyspider,scrapy,scrapyd,spiderkeeper等)
Python:熟练应用tornado、flask等框架进行API开发,熟悉python异步,多进/协程高阶语法
前端框架:掌握前端知识es2015-2017, 会用webpack 、vue等,熟悉js逆向
数据库相关:熟悉MySQL/ oracle/ redis/mongo等数据库
运维及网络: 熟悉前后端交互流程。实践参与过各个环节,熟悉TCP IP协议和http协议,状态码,了解常见的web前后端漏洞(XSS, CSRF, SQL注入等安全知识,熟练使用fiddle和Charles等抓包工具,熟练使用Linux开发及docker的使用及部署产品
项目描述:该项目为固收工具类产品,面向基金公司,服务于基金经理等角色。
项目职责:1、负责搭建python后端环境,使用tornado框架。
2、使用相关图片识别技术实现指令识别、质押券模块的识别。关联交易对手方等文字识别及图片识别功能。
3、招标信息数据可视化服务的登录注册按需显示等功能开发
4、券商部署本司产品
5. 负责公司数据舆情系统的数据抓取,数据系统搭建及其维护
运用技术:tesseract+Jieba+mysql+redis+oracle+trocr+docker 等
负责公司数据系统的搭建及其维护工作,同时负责垂直爬虫的数据抓取。 该系统可监控所有数据来源及数据质量、负责人等
负责公司数据系统的搭建及其维护工作,同时负责解决风控校验较难的爬虫。该系统可较好的检测数据质量及任务状态等