熟练掌握java编程,熟悉springboot、mybatis等主流框架;
熟悉mysql、Postgres等数据库的使用,熟悉Linux系统;
熟悉rabbitmq这个消息队列中间件的使用;
熟悉apache ignite和redis等内存数据库的使用;
采集数据映射比对程序:项目的主要功能是实现从csv文件中读取相应的数据,然后根据一定的规则进行转换(规则可以在数据库中进行配置),将转换后的数据重新插入到新的数据库中,使用xxl-job进行定时调度。实现的功能比较简单,但是数据量较大,属于千万级别的,所以中转的数据库用到了Apache Ignite这个内存数据库(这个数据库可以使用sql语句进行CURD),并进行了分布式部署。