应用程序:C# WINFORM
使用selenium做过十几个数据采集程序。2个库存管理程序,1个MES系统。几十种数据处理程序,如EXCEL,Sap数据,财务数据,数据清洗,数据报表等。
WEB方面
.net、.NET core、html5、Layui、JavaScript、JQuery等(前端技术不写了,学过很多,但大部分用不上。)
做过四十几个网站,公司网站,政府网站,行业平台网台,数据查询、分析、挖掘、展示方面网站,车行轨迹相关网站,微信公众号相关,支付相关,企业微信群发等。
数据库方面
SQLserver、Mysql
经常使用,使用熟练。部署、运维、灾备都做过。
大数据方面
Hadoop、Hive、Hbase、Impala、Spark、Sqoop、Zookeeper、Flume、Kafka
做过5年大数据从选型、搭建、数据导入、处理、上线、数据挖掘学过(只有练习项目,没有实际项目)
搜索方面
ELK
用过6.5之前版本
智慧收运平台
主要功能:对车辆数据进行分析展示。
包括数据采集、网站数据分析、车辆GPS位置展示、大屏实时数据、图表分析等功能。
网站所有需求分析和功能完善为个人独立完成。网站已上线运行。
网站采用.NET Mvvm框架。前端采用Layui+Jquery,电脑和移动端都能自适应网站显示。
后台运行多个程序,如:从第三方网站抓取数据程序,定时数据清理程序,异常企业微信通知程序等。
生产MES系统
主要功能:
1、采集员工的工作时间。
2、管理员下发计划任务,并显示给员工。
3、管理员后台上传图纸,员工扫码后自动调出图纸。
4、计划任务和实际任务数据分析。
5、生产大屏数据显示。
华为云在线查询系统
使用华为云做在线查询系统。使用华为云组件包括:
弹性云服务器 ECS
对象存储服务 OBS
虚拟私有云 VPC
弹性负载均衡 ELB
弹性公网IP
云数据库 SQL Server
云数据库 MySQL
数据湖探索 DLI
内部ETL数据处理流程更新
企业内部一直使用SQLserver处理数据,但因数据量逐步增大,SQLserver处理时间增加,无法满足数据快速处理的需要,所以使用Hadoop群集替代原有SQLserver处理数据。重新修改企业内部ETL数据处理流程和在线数据查询系统。
主要技术:CDH套件 hadoop+hive+hbase+solr+sqoop+impala+zookeeper
主要功能:对车辆数据进行分析展示。 包括数据采集、网站数据分析、车辆GPS位置展示、大屏实时数据、图表分析等功能。 网站采用.NET Mvvm框架。前端采用Layui+Jquery,电脑和移动端都能自适应网站显示。 数据库采用SQLserver数据库。 网站所有需求分析和
主要功能:1、采集员工的工作时间。2、管理员下发计划任务,并显示给员工。3、管理员后台上传图纸,员工扫码后自动调出图纸。4、计划任务和实际任务数据分析。5、生产大屏数据显示。项目分为3部分:员工使用的客户端、管理员人使用的WEB端后台、现场大屏显示客户端工作台配有RS232控制灯