1. 熟练掌握javaSE,EE技术,面向对象的编程思想,IO流,集合,反射,多线程,scoket通信等
2. 熟练掌握SpringBoot,SpringBatch,SpringCloud,MyBatis,Netty等框架进行企业级应用开发以及优化并对其原理有一定认识
3. 熟练掌握Angularjs,Vue,Bower,gulp等框架
4. 熟练掌握PostgreSQL,CutisDB,Redis,HBase,GreenPlum 了解newSql数据库cockroachDB,yugabytedb等
5. 熟练使用Git,Maven,Gradle构建工具
6. 熟练使用linux系统,可在linux下开发,项目搭建,部署等
7. 熟练使用Rabbitmq消息中间件,熟悉MQTT协议,在物联网行业有丰富的实践经验.
8. 熟悉Hadoop, Spark, Kafka,Docker
9 了解云原生技术K8s,Service Mesh(istio),领域驱动设计等
HBase设备数据生命周期项目
项目描述
1. 将原存储在pg中的设备数据重构为HBase存储.HBase备份等方案.
2. HBase表设计优化并与Phoenix集成. 自研数据迁移程序成功迁移50TB数据以上的数据到HBase.并对phoenix的bulkload优化增强.集成lzo压缩
3. 重写设备数据写入.查询程序. 并开发通用数据接口.根据传入条件和查询字段查询.
4. 使用hbase降低了比原PG约十倍的存储空间. 数据统计任务由原来小时级别降低到十几分钟以内.个别任务在几分钟之内
5. 并使用CDH6.3搭建了北谷大数据环境等.
6. 使用Semaphore,CountDownLatch,LinkedBlockingQueue数据迁移项目的并发导入等场景
物联网平台
项目描述
1. 本系统定位saas项目. 前期项目为单体架构, 后期使用spring cloud 重构项目.
2. 使用netty重写设备连接网关.以支持20万台设备以上连接与数据传输.
3. 使用策略模式与模板模式和责任链模式重构设备数据解析与设备数据实时处理. 并使用shardingsphere分库分表存储设备数据. 编写设备远程OTA服务端.
4. 使用SpringCloud框架拆分数据运营模块. 主机厂模块. 每个模块可以动态扩容提高系统性能.
5. 使用Spring Security oauth2 实现安全控制与微服务间调用鉴权验证.
6. 编写设备侧压测工具. 使用 CountDownLatch与CyclicBarrier模拟并发压测
7. 成功恢复过因掉电导致pg数据库磁盘物理坏块的几十GB设备数据. ctid扫描+pageinspect读取.