熟悉前端技术 html ,js,jquery
熟练关系型数据库mysql,熟悉 ElasticSearch 搜索引擎,熟悉时序数据库influxdb(根据时间统计数据)
熟练Spring、mybatis、springboot、springcloud alibaba框架
熟悉大数据组件Spark、hdfs、yarn
Jsearch 全文检索系统:
产品分成两个部分后台和前台,两部分之间用 redis 和elasticsearch 搜索引擎互联,在产品后台进行配置,在前台进行展现,在前台输入关键词进行自定义搜索、精确搜索、,主要使用的框架是springboot、springcloud alibaba,mybaties
大数据性能测试平台:
平台接通大数据平台,通过性能测试平台启用大数据任务,以监控大数据spark、flink任务运行性能
运用的技术和使用的开发工具:springboot、kafka、influxdb、grafana、mysql、redis、elasticsearch 搜索引擎、spark集群
项目分为后台管理和cbg_bench,完成了cbg_bench的开发,cbg_bench主要是执行大数据spark和flink的用例,因为分属在不同的机器所以需要kafka进行数据通信,后台管理主要是进行用例配置和用例执行
前台搜索模块的搜索业务,可以根据后台的配置在前台展示不同的样式,当前用户的定位,通过后台数据处理热门文章的统计
通过在后台配置测试用例,通过用例集的方式执行大数据的用例,在yarn容器上获取执行的资源消耗数据,把数据返回到数据库中,通过grafana看板进行数据展示