掌握 C,Python,Java 等编程语⾔,熟练使⽤ pycharm 软件进⾏ Python 编程。
熟悉数据结构与算法分析,数据采集与存储,⼤数据处理,⼤数据开发技术,数据分析技术,数据可视化,数字图像处理。
2023.05~2023.06
基于 lamba 架构的⼤数据⽇志分析系统项⽬
开发环境:虚拟机操作系统:CentOS 64 位;JDK:1.8 64 bit;Hadoop:2.8;Zookeeper:3.4.5。
项⽬介绍:⼀个电商类⽹站的⼤数据⽇志分析系统应⽤,主要包括:⼤数据环境搭建、数据采集、数据汇总与转发、数
据处理、结果展示等⼏个部分构成。
责任描述:搭建集群与环境,进⾏系统设计,包括数据收集,进⾏项⽬实现,数据分析。
2023.06~2023.07
航空数据管控系统项⽬
开发环境:GitHub , CentOS 64bit , ZooKeeper , Hadoop , Spark , Kafka , HBase , MySQL , Redis。
项⽬介绍:项⽬以实时提供了真实历史数据,通过⼤数据平台进⾏清洗、统计并将数据反馈给⼤屏指挥展示,提供多
⽅位的数据维度图形分析,为航空指挥平台提供决策所⽤的数据⽀撑。
责任描述:项⽬分析,设计;项⽬开发包括环境和系统基础架构的搭建,数据处理,模块实现形成动态航线图。