1熟悉Java(熟悉IO,NIO,多线程,集合框架,泛型,反射等),以及常用的设计模式。
2熟悉Spring MVC,MyBatis,HttpClient。
3熟悉jQuery,ajax,json,html,javascript,Bootstrap。
4了解Selenium和PantomJS,熟悉Xpath,Webmagic。
5熟悉git,svn,maven。
6熟悉MySQL,Redis,Tomcat, Linux常用命令。
7了解Zookeeper, Hbase,Spark,Hive,Hadoop等。
分布式爬虫:
基于Zookeeper,Webmagic,HttpClient,Redis,Selenium,PhantomJS,MySQL,Hbase的分布式爬虫。
负责Master角色设计与实现,可配置的数据解析插件开发,动态数据获取解决方案。