python,爬虫,js逆向,mysql,c#
我是一个有五年工作经验的python工程师,擅长使用python编写高效、稳定、可扩展的爬虫程序,能够应对各种反爬策略,如动态网页、验证码、加密参数,js逆向等。熟悉mysql数据库的设计和优化,能够处理大量的数据存储和分析。
亚马逊爬虫系统,包括全类目的热销榜,新品榜,销量、评价、排名等数据,并能对数据进行可视化的输出。
淘宝的价格监控系统,可以定期从淘宝获取商品的价格信息,并进行比较,分析和可视化。
新闻聚合系统,目的是从不同的新闻源获取最新的新闻,并进行分类,摘要,情感分析等处理。
联通物联网平台外挂,实现了原平台不支持的多条件查询修改,定时监控等功能。
角色 | 职位 |
负责人 | 爬虫工程师 |
队员 | 安卓工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |
亚马逊爬虫系统,支持榜单爬取,关键词提取,销量查询,关键词数据可视化,集成了第三方插件数据如Keepa,Camel,MerchantWords。
联通物联网平台无法实现批量号码查询修改等功能,因此开发此辅助程序,帮助运营人员提高效率 需要先对联通平台进行js逆向,找到对应的数据加密方式,再用python模拟出来。