我所熟悉的框架有 Spring, Springboot, Springcloud, SpringCloudAilbaba,数据库有关系型数据库和非关系型数据库, 关系型数据库有Mysql, 非关系数据库有Redis 比较精通于Rabbitmq, kafka等消息中间件还有Elasticsearch,es是非传统意义上的数据库
曾做过数据中台,智慧医疗,安防社区等项目,在做项目的过程中,可以独自进行模块的开发,数据集成是将大数据搜集的的车辆信息、人脸信息、视频监控信息、预警信息等大数据量的信息。通过中台接入进来。
1.中台设置了Kafka Es Ftp等多个非关系型数据源。新增了Hive、Flink数据源。支持从多种数据源获取数据。同步到目标端。
2.支持库表查询,点击库表展示库表下对应的数据。支持简单的SQL查询,目前的话支持select语句查询。
3.数据同步任务是通过传统的Quartz定时任务来完成的。支持一次性全量同步、周期性同步、支持cron表达式。支持自定义的Db-switch同步也可以选择Datax进行同步。目标端可以选择接入方式,Ods接入和自定义接入。支持表名映射。字段名映射、统一字段管理标准。支持手动执行以及定时发布任务。任务完成 以后,可以查看执行结果。新增实时日志功能。预览结果。了解表的同步信息。同步的失败量以及成功次数。
4.支持文件的接入存储。可以将文件上传至Minio,因为我们的公司是小型的局域网。用Minio比较合适。实现了文件的分片上传、断点续传。
5.支持贴源数据。对我们从中台库同步过来的数据可以进行预览查看。方便用户查看。包括表信息、字段信息、接入数据信息、接入日志等。都支持查看。