猿急送>

北京Java兼职程序员

ID：170625

大漂亮藏獒

java开发工程师

公司信息：
中国移动

工作经验：
5年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
北京
海淀

技术能力

利用hdfs存储网站产生的大量日记,计算网站关键指标，其中关键性指标有，分别为用户基本信息分析、操作系统分析、地域信息分析、用户浏览深度分析、外链数据分析等等信息的分析。并根据用户行为分析结果持续改进产品的设计，以及调整公司的战略和业务。项目使用js埋点技术采集用户信息，使用flume将日志收集到hdfs，使用mapreduce对数据进行预处理，将历史结构化数据存入到hbase，使用hive进行etl分析，分析结果通过sqoop导入到mysql，通过echars进行数据可视化。
使用技术：Flume,Hdfs,Yarn+MR,Hive,Sqoop,Hbase

项目经验

一.电商平台日志监控告警系统
项目介绍：
日志监控告警系统
基于的日志进行监控，监控需要一定规则，对触发监控规则的日志信息进行告警，告警的方式，是短信和邮件。
随着公司业务发展，支撑公司业务的各种系统越来越多，为了保证公司的业务正常进行，急需要对这些线上系统的运行进行监控，做到问题的及时发现和处理，最大程度减少对业务的影响。
目前系统分类有：
1) 有基于Tomcat的web应用
2) 有独立的Java Application应用
3) 有运行在linux上的脚本程序
4) 有大规模的集群框架（zookeeper、Hadoop、Storm、SRP……）
5) 有操作系统的运行日志（top）
主要功能需求分为：
监控系统日志中的内容，按照一定规则进行过滤
发现问题之后通过短信和邮件进行告警
二.诸葛汽车修车网平台点击流日志分析（离线）
利用hdfs存储网站产生的大量日记,计算网站关键指标，其中关键性指标有，分别为用户基本信息分析、操作系统分析、地域信息分析、用户浏览深度分析、外链数据分析等等信息的分析。并根据用户行为分析结果持续改进产品的设计，以及调整公司的战略和业务。项目使用js埋点技术采集用户信息，使用flume将日志收集到hdfs，使用mapreduce对数据进行预处理，将历史结构化数据存入到hbase，使用hive进行etl分析，分析结果通过sqoop导入到mysql，通过echars进行数据可视化。
三.中移推荐系统
根据剧增的客户流量，以及点击日志，和数据库表分析，对经常浏览的商品和点击的商品，进行实施的推荐。