一、java技术栈
1、熟悉的主流框架:spring、mybatis、springboot;
2、熟悉的主流存储:mysql、redis、elasticsearch、mongodb、hbase;
3、熟悉的消息中间件:kafka、rabbitmq;
4、熟悉分布式服务框架:dubbo、netty、zookeeper;
5、熟悉hadoop、spark、hive等主流大数据技术;
二、爬虫技术栈
1、熟悉java、python两种语言实现爬虫开发需求;
2、熟悉chrome浏览器工作原理;
3、熟悉无头浏览器puppeteer;
4、熟悉js逆向;
5、熟悉nodejs;
6、熟悉httpclient;
三、web技术栈
1、熟悉js、jquery、angularjs、vue、jsp等前端技术;
2、熟悉的web服务器:apache、tomcat、nginx;
一、爬虫平台开发
就职于一家跨境电商公司期间,带领小组从0到1完成爬虫平台这个重要基础设施的设计和开发。为公司建立以下能力
1、选品能力,通过爬取及分析1688、淘宝、天猫、拼多多等平台的商品数据,为买手提供选品支持;
2、竞品分析,通过爬取及分析竞品网站数据,分析竞品的营销策略,为运营提供支持;
3、自动上架,通过爬虫技术手段实现将1688、淘宝、天猫、拼多多等平台的商品自动上架到公司自己的平台;
二、企业商城建设
1、带领团队完成企业商城PC端及微信公众号端的建设;
三、门户网站建设
1、带领团队完成中国文明网、舟山市政府网站、温岭市政府网站建设;
四、信用卡账单数据爬取及解析
1、带领团队攻克QQ、网易、新浪、139等主流邮箱的破解登录;
2、带领团队完成邮箱账单的爬取及解析;
角色 | 职位 |
负责人 | java后端技术经理、爬虫平台负责人 |
队员 | 产品经理 |
队员 | UI设计师 |
队员 | iOS工程师 |
队员 | 安卓工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |
爬虫平台从0到1开发搭建 1、选品能力,通过爬取及分析1688、淘宝、天猫、拼多多等平台的商品数据,为买手提供选品支持; 2、竞品分析,通过爬取及分析竞品网站数据,分析竞品的营销策略,为运营提供支持; 3、自动上架,通过爬虫技术手段实现将1688、淘宝、天猫、拼多多等平台的
中国文明网门户网站群建设 该项目是新华社下属单位建设的门户网站群(主站和地方文明网站群),我在其中负责系统架构及开发工作;
企业商城 该项目是为企业提供采购的电商平台,我在其中负责平台的设计、架构、开发以及项目的进度管理和团队管理;