大数据平台:hadoop,hbase,hive
内存数据库/ 缓存:redis,mongodb,memcache
消息队列:kafka,rabbitmq
常用后台框架:spring,struts,mybatis,springmvc,springboot
服务框架:hessian,webservice
从业软件开发9年,有扎实的软件设计与开发能力,对业界主流框架上手很快,有产品架构经验,能带领团队独立设计产品。
一、某海外电商爬虫系统
依托项目需求与背景,搭建适用海外环境的爬虫平台,依据业务方需求,可实时或离线爬取对手数据,通过清洗、转换,聚合等流程,推送数据到业务方。
1、平台完全实现可视化与脚本化配置爬取任务,在快速构建与灵活性完美切换,各种粒度实现业务爬取需求。
2、平台各模块完全解耦,各个子系统无依赖可独立部署,高可移植性。
3、完整的任务监控平台,可实时监控爬虫爬取的进度与效果。
4、强大的爬取能力,依据终端爬虫爬取能力成线性正常,目前日爬取量在近千万级。
爬虫架构基于: SpringMVC,mybatis,shiro(安全框架),redis,rabbitmq,hassian, quartz,kafka,hbase等技术框架搭建。详细架构搭建可详聊。