精通java
熟悉SpringMVCMybatisStruts2等开源框架;
熟悉javascript jquery html5 css3等前端技术;
有扎实的后端基础,对分布式系统、缓存、消息、安全等技术有实际的使用经验以及掌握技术细节和基本原理;
熟悉数据库技术,熟悉MySQL、Oracle、sql server等数据库的操作方法;
精通 python 及相关技术栈,熟悉 shell ,熟悉 Linux开发环境;
具有网络爬虫开发经验,熟悉网络数据抓取的工作原理及工作流程;
熟练使用分布式爬虫,能够解决封账号、封IP采集等问题解决网页抓取、信息抽取等问题;
具有千万量级数据采集经验,有知名电商全站爬取经验。
开发过的项目:
1,平安证券一柜通系统项目
2,平安云系统项目
3,中国移动物联网商城项目
4,微信公众号爬虫
5,新浪微博爬虫。动态IP解决新浪的反爬虫机制,快速抓取内容。
6,百度mp3全站爬虫,使用redis支持断点续传。
7,淘宝的爬虫,可以根据搜索关键词,物品id来抓去页面的信息,数据存储在mongodb。
8,股票(沪深)爬虫和选股策略测试框架。根据选定的日期范围抓取所有沪深两市股票的行情数据。支持使用表达式定义选股策略。支持多线程处理。保存数据到JSON文件、CSV文件。
9,去哪儿网爬虫。 网络爬虫之Selenium使用代理登陆:爬取去哪儿网,使用selenium模拟浏览器登陆,获取翻页操作。代理可以存入一个文件,程序读取并使用。支持多进程抓取。