熟悉spring、mybatis。
熟悉前端框架Bootstrap,jquery
熟悉hadoop相关框架,有HBase、flume 、Zookeeper、elasticsearch 、Kafka 开发经验。熟悉redis等其他开源项目;
熟悉linux操作以及Shell脚本的应用
该系统主要通过分布式hadoop集群处理抓取各大电商网站的数据,建立索引,在前端展示以及商品价格、
性能的比较。项目主要用httpclient抓取网页数据,htmlcleaner对数据解析。将解析后的数据存储到hbase中
以及redis中。用solr对数据建立索引。针对于数据的爬取能力,用flume收集日志,kafka对数据的订阅,
storm及时对日志信息处理,处理后的结果存储到mysql中。在前台页面中使用推荐算法对商品进行推荐
主要负责1.集群搭建及日常维护; 2.网页的解析; 3.hbase数据存储; 4.Storm实时处理日志信息