1. 精通Python,了解java,go语言,使用过java写过报表中心,有良好的编码习惯;
2. 熟练使用Fiddler,Pycharm,idea开发工具。
开发(爬虫开发)技能:
1. 熟练使用urllib,Requests等Python库,熟练使用正则表达式;
2. 熟悉使用Scrapy框架,Selenium,WebSocket,Chromedriver等工具;
3. 爬虫相关技术:JS混淆,JS加密与解密,B/S协议分析与破解,C/S接口分析与解等。
4. 了解Python机器学习,针对图片验证码,滑动验证码,旋转验证码等通过Python机器学习已破解。
5. 熟悉使用Mysql,Redis数据库;
6. 熟悉使用Django,Flask开发框架。
数据分析:
1. 自学ETL数据仓库,较熟悉etl数据仓库流程,较熟悉使用kettle数仓开发工具。
2. 熟悉Pgsql, ,Clickhouse,有etl工程师经验
1.国内瑞数4 ,5 , 6。
2.国内外航空公司加密加密。
3.国际物流网站加密解密.
4.验证码突破,机器学习识别。
5.搭建全球爬虫系统,包含(北美,澳洲,欧洲,亚洲)数据爬取,收集,清洗,处理,优化,展示。
破解17track,51track等物流查询平台 1.17track平台为目前最大的国际物流查询平台,反爬手段是lastevent-id,此cookie值会对浏览器指纹,浏览器版本参数等进行加密。 2.51track平台功能物流网站涉及没17track全面,反爬手段是参数会被
加密,反混淆加密js,在js中找到要点逆向编译得出生成cookie值。 在处理接口因为参数复杂,接口携带cookie赋值多,需要仔细处理每个关键接口。