java开发
1.熟练使用Java中的封装、继承、多态、IO流、Exception、反射等进行应用开发。
2.深入理解OOA思想并能简单的应用UML参与系统设计,如绘制用例图、时序图和类图;
3.能熟练应用MySQL数据库,如利用事务进行连续数据库操作,利用order by、group by 、limit、having等编写复杂SQL语句进行多表关联查询;
4.具有Servlet、JSP和JDBC相关开发经验,并能够熟练地在Tomcat服务器上部署Web项目;
5.熟练运用MVC模式并曾利用Spring、Spring MVC和MyBatis进行过项目开发,熟悉Struts和Hibernate;
6.掌握Hadoop平台的完全分布式集群搭建,熟悉Kafka、Redis和Storm的环境搭建流程;
7.熟悉Hive数据仓库的工作原理,可以利用Hive对数据进行查询分析;了解Hive的优化,如列裁剪,分区裁剪;
8.熟悉HBase列式存储并能进行数据的存储和查询;
9.了解常用的设计模式如Singleton,Template,Simple Factory,Strategy;
10.了解Zookeeper的分布式协调应用,并能应用Zookeeper为Kafka、Storm集群提供分布式协调服务。
2017/06--2017/10 联通看板中心项目
架构:SpringMVC + MyBatis + Spring
工具:Eclipse
项目介绍:联通看板中心是面向消费者以及内部客服、中台、行销、运维等相关人员提供按角色定制的全渠道订单统一查询系统。“看板中心”系统满足了北京联通互联网化转型的需要,通过整合线上线下订单在CBSS、北六BSS、订单中心、IOM、掌上运维、网络建设等系统的订单端到端数据,实现了对订单的穿透、一点汇聚。
项目架构:
1.本项目采用了MVC开发和SSM框架构成的四层架构,分别是控制层、模型层、视图层、DAO层,视图层利用HTML+CSS+Jquery技术完成查询页面显示和列表界面的设计。
2.控制层用于接受请求和做出响应,通过利用Spring MVC获取参数、匹配处理方法,调用相关业务逻辑并将结果返回给View层。
3.模型层包含对象和业务逻辑,用于业务逻辑的实现,根据业务需求创建查询实体,调用相应的持久层方法,并对数据进行相关的业务逻辑操作,再将结果返回给Controller层。
4.持久层利用MyBatis对数据进行持久化操作,通过DAO层接口匹配相应的Mapper.xml文件,调用相应sql语句,对数据进行处理。
我的职责:
1.我在项目中参与了需求讨论和系统设计,独立完成了对外(pc/手机)查询模块的交互设计;
2.负责外部用户的身份证查询的前端模块开发,实现了通过身份证+手机号获取验证码、验证成功后能够查询出用户办理所有业务的订单列表;利用Redis暂时存放验证码实现了短信验证码的校验;通过在web关联文件添加版本号解决了每次部署项目都要清理服务器缓存的问题、降低了内存
3.负责外部用户的业务号码查询的模块开发,实现了通过输入手机号/业务号/宽带号任意号码即可查询某业务订单;通过JS判断浏览器版本解决了PC端IE8的兼容问题;创建全局变量保存用户查询历史,达到了提高用户体验的效果。
2017/03--2017/06 卖场实时客流分析平台项目
开发工具: MyEclipse、Xshell
项目描述:
本项目是一款大数据的实时计算项目,主要任务是实时统计店铺、楼层、门店的客流情况,并通过离线数据进行时间维度的客流量对比分析,最终为运营者提供实时决策支持。
项目技术实现:
1. 利用Kafka进行实时数据收集。
2. 通过Storm流式计算框架来进行数据消费,通过CellBolt来将实时数据存储至Redis中,再通过HDFSBolt将数据存储至HDFS来进行大批量离线数据的查询和分析,顾客信息、销售数据等大量数据存放至HBase中。
3. 利用Hive对客流数据进行分析,并通过Sqoop同步至MySQL中;利用Pipeline定时将Redis中数据同步至MySQL数据库。
4. 利用Echarts在前端进行显示小时客流情况。
责任描述:
1.我在项目中参与了需求分析和系统设计,独立完成了进店客流和有效客流模块的详细设计;
2.负责进店客流模块的开发工作,实现了进店客流的实时客流数据显示,利用Kafka作为消息队列来收集客流数据,解决了在客流量突然增多的情况下造成的阻塞问题,起到了缓冲的作用,进行实时数据采集后使用Storm进行数据的处理计算;
3.负责有效客流模块的开发工作,实现了进店客流中的有效客流的实时客流数据显示,运用Redis内存数据库解决了MySQL数据库数据访问滞后的问题,即将处理后的数据存储到Redis中,达到了提高客流数据访问速度的效果。
优企管理系统项目
项目架构: SpringMVC + MyBatis + Spring
开发工具: MyEclipse
项目描述: 本项目主要打造为创业公司、中小企业提供从公司工商注册、财税服务到知识产权办理、社保代理等一站式的企业运营服务平台,简化创业公司繁琐的登记、注册流程,减少中小企业运营过程中由于公司报税记账、证件办理和知识产权申请等复杂的审批流程而导致的人员、时间浪费,提高了中小企业的经营效率,减少了运营成本,并为中小企业提供全过程的优质服务。
项目技术实现:
1.本项目采用了MVC开发和SSM框架构成的四层架构,分别是控制层、模型层、视图层、DAO层,视图层利用JSP+CSS+JS技术完成前端用户显示和操作界面的设计。
2.控制层用于接受请求和做出响应,通过利用Spring MVC匹配处理方法,获取参数,调用相关业务逻辑并将结果返回给View层。
3.模型层包含对象和业务逻辑,用于业务逻辑的实现,利用Spring进行事务管理和对象注入,根据控制层分发的请求调用相应的持久层方法,并对数据进行相关的业务逻辑操作,再将结果返回给Controller层。
4.持久层利用MyBatis对数据进行持久化操作,通过DAO层接口匹配相应的Mapper.xml文件,调用相应sql语句,对数据进行处理。
责任描述:
1.我在项目中参与了需求分析和系统设计,独立完成了费用中心模块的详细设计;
2.负责费用中心查询模块的开发工作,实现了在用户提交订单后,运营商可以通过划分时间段查询今天、近七天、近三个月的订单和用户支付方式的功能,运用Redis做内存数据库解决了遇到的数据访问速度慢的问题,达到了提高运营商查询效率的效果;
3.负责费用中心结算模块的开发工作,能查看到服务商提交的结算申请,并进行结算或拒绝申请,结算完成的订单在已结算列表中查看,运用创建索引的技术解决了数据量增多造成的性能降低问题,达到了提高MySQL数据库访问效率的效果。
4.负责费用中心统计模块的开发工作,对于结算情况通过Echarts的饼状图进行结算比例的展示,运用POI的方式解决了结算明细的统计效率低下问题,达到了将结算数据批量导出到Excel进行财务报表计算的效果。
分布式网络爬虫项目
HttpClient + Zookeeper + IKAnalyzer分词 + TF-IDF + JSON + Echarts
MyEclipse、Xshell
本项目主要利用京东商品评价数据的抓取和分析来了解顾客的产品需求和产品评价标准,通过对京东商品评价数据进行抓取,取出权重为前100的关键词,基于Echarts进行可视化呈现,作为商家产品更新、顺序安排的决策依据。
1.获取种子信息,求得产品URL和评论页数
2.循环遍历将评论页URL放入分布式消息队列中;
3.将URL从队列中取出,创建线程池并分配任务抓取URL;
4.通过HttpClient抓取页面内容,通过ObjectMapper生成评论对象;
5.解析对象,通过JDBC将数据插入数据库;
6.从数据库中取出评论内容,利用IKAnalyzer进行分词;
7.利用TF-IDF算法处理分词结果,把词与权重生成JSON串。
8.基于Echarts对JSON串进行词云的可视化呈现。