• 有比较扎实的JAVA基础,熟练掌握面向对象思想、集合、IO流、多线程、网络编程及反射,熟悉JDBC、DBUtils、DBCP连接池。
• 有良好的html、css、javascript、xml、ajax基础,了解jQuery、Bootstrap、easyUI,熟悉tomcat。
• 能比较好的使用Mysql、SQL Server、Oracle数据库,了解Redis(数据库),能够配置Linux环境自由进行java开发,了解android应用开发。
• 熟练掌握jsp/servlet技术,熟悉struts、Hibernate、Spring,了解mybatis、Springmvc。
• 了解Web Service、SVN(版本控制)、tower(团队协作)、Maven(项目管理)、lucene、solr(搜索)和hadoop(集群);了解项目管理。
• 有良好的数据结构、计算机网络、操作系统、计算机组成原理和软件工程基础,能够使用Axure进行原型开发。
• 有良好的数学基础,了解matlab,能够使用神经网络、支持向量机等结合降维预处理和遗传算法、粒子种群等参数优化算法解决聚类、分类、回归预测问题。
1. 数据中台微服务架构、用户中心(单点登录Oauth2.0)
2.物联网、网红、游戏引擎大数据平台
3.推荐系统
sparksql 从 mongodb 同步业务数据至
hdfs;采用 flume 从 nginx 采集日志数据至 kafka;app、h5、设备埋点,后台采集设备操
作数据;最终将数据使用 parquet 方式按日期分区存储至 hdfs 并合并小文件。数据推送推
荐平台后端采用 springboot 实现配置用户画像标签、元数据、推送配置等。用户画像采用
sparksql 从 mongodb 中加载计算后存入 es,用户推送计算判断用户画像是否符合推送条
件,结果存到 hbase。推送、反推送后端采用 grpc 暴露接口给后台调用,推荐系统部分主
要采用 sparkMLib 的协同过滤推荐算法