公司项目产品旨在加密保护客户数据。产品部署的第一步是发现文档,收集文档元数据和内容,这些内容将在以后进行处理。为了及时执行,这些步骤必须并行并以分布式方式执行。从更一般的角度来看,将需要以类似的方式来管理一系列活动,尤其是在SaaS方面(多租户)。这就是软件团队开发DTQ(Dathena Task Queue)的原因,其目的是提供强大的分布式任务队列和管理系统,以处理大量任务,同时提供弹性和优化指导指标。该项目的主要目的是创建一个管理平台,允许非技术人员(例如DevOps或现场数据科学家或客户成功工程师)创建和管理数据集或其他业务,而无需数据库中的任何外部脚本或查找, 平台应保证对DTQ的监控和操作。 我主要需要开发一个用于监视和控制公司内部业务的平台。总体可以分为两个部分: 1)DPM中DTQ UI的设计和开发 2)DPM中数据集和作业的监视操作UI的设计与实现 过去的公司产品版本中的许多业务操作都缺乏灵活性,并且对操作员的技术水平有一定要求。该项目的主要目的是创建一个管理平台,允许非技术人员(例如DevOps或现场数据科学家或客户成功工程师)创建和管理数据集或其他业务,而无需数据库