计算机⽹络、数据结构、算法、操作系统等课内基础知识:掌握
Java 基础知识:掌握
JVM 虚拟机(Java内存区域、虚拟机垃圾算法、虚拟垃圾收集器、JVM内存管理):掌握
⾼并发、⾼可⽤、⾼性能系统开发:掌握
Struts2、Spring、Hibernate、Ajax、Mybatis、JQuery :掌握
SSH 整合、SSM 整合、 SOA 架构:掌握
Dubbo: 掌握
Zookeeper: 掌握
常⻅消息队列: 掌握
Linux:掌握
MySQL常⻅优化⼿段:掌握
Spring Boot +Spring Cloud +Docker:了解
Hadoop ⽣态相关技术中的 HDFS、Storm、MapReduce、Hive、Hbase :了解
Python 基础、⼀些常⻅第三⽅库⽐如OpenCV、wxpy、wordcloud、matplotlib:熟悉
Spark 的基础知识及 Scala 代码编写:掌握
项目描述:
在“互联网+”与大数据时代,网络信息量巨大,每天发生的关注事件呈指数增长,一件看似微不足道的小事,都可能引发巨大的网络舆情浪潮、面对互联网快速发展现状,按照政府部门决策和施政的现实要求,建立一套基于工作流的舆情管理服务平台,这是基于大数据挖掘技术,结合人工智能进行分析的一款集舆情预测、舆情管理、舆情处置、精准传播分析、大数据应用于一体的新型舆情分析SAAS平台。
项目技术架构:
核心技术
该项目为微服务项目,采用SpringBoot+SpringCloud构建,使用Eureka作为注册中心,使用Zuul网关框架统一管理微服务请求入口,使用Ribbon实现本地负载均衡器和Fegin客户端调用工具,使用Hystrix服务保护框架(服务降级、隔离、熔断、限流);使用Mybatis做数据层;SpringMVC做控制层;前后端分离开发;KafKa做消息缓冲;ElasticSearch做检索服务;Redis做缓存服务。
相关解决方案:
1.项目统一使用分布式任务调度平台XXL-Job管理任务调度
2.使用分布式日志采集系统ELK +kafka实现微服务统一日志管理
3.使用Spring-Session处理Session共享问题,Redis存储session数据
4.使用分布式配置中心携程阿波罗做配置统一管理
5.分布式事务解决方案LCN 、分布式锁解决方案Zookeeper
6.使用CAS+JWT实现微服务单点登陆
项目运营与部署环境:
构建企业级Maven私服管理微服务接口调用依赖关系;采用Swagger做API管理;使用GitLab管理代码;项目使用第三方腾讯云数据库、使用七牛云服务器对静态资源实现加速。
使用技术:
SpringBoot+SpringCloud+Mybatis+MyCat+Redis+Swagger+Maven+Xxljob+KafKa+ElasticSearch+HBase+Nginx集群+FastDFSs
责任描述:
参与舆情项目的租户模块开发包含了第三方QQ和微信联合登陆、预警推送模块开发、参与分布式报表任务模块开发;参与项目需求讨论,编写相关设计、接口文档。
角色 | 职位 |
负责人 | 高级大数据开发工程师 |
队员 | 产品经理 |
队员 | 后端工程师 |