1. 多年开发, 熟悉 Golang/Python/PHP/Java等后端语言, 熟练 Vue.js ES6等前端, 开发过多个基于 Laravel, Yii2, Django的后端平台, 使用 Vue + echarts 搭建过多个后台管理和数据分析平台
2. 硕士研究方向为大数据, 舆情, 涉及nlp方向主要为舆情的处理, 包括分词分类情感分析等, 详细参考项目经验的描述
(一)网络舆情分析系统,主要涉及爬虫和nlp分析,展示方式为基于php的laravel框架
1.主要目的为利用nlp技术,对自然语言进行分类和处理,从而得到带有信息的舆情分析结果
2.涉及excel的分析,页面的爬取(清洗,分词,分类)
语言技术栈有python,php
算法技术栈有LibLinear,决策树算法, TF-IDF关键词算法,cx-extractor提取算法等
(二)网络流量大数据分析系统,采集网络流量,利用hadoop集群和spark进行分析,使用vue.js和echart.js进行展示
1. 项目通过镜像区域路由器流量,使用bro采集,生成日志,存储至hdfs之中,技术栈涉及c++,c等
2.项目使用spark作为MapReduce的替代,读取bro生成的日志,利用dataframe进行分析(包括源IP分析,目标IP分析,用户浏览页面分析,http爬取等等),并存储至hive表之中,
3.使用django和pyspark读取hive表和提供查询api,前端使用vue.js集合element组件和echart做数据展示