熟练掌握django、flask框架
熟练使用mysql、mongo、redis、es、FastDfs分布式文件系统
熟练使用pandas、numpy等扩展库进行数据处理和分析
熟练使用celery、rabbitmq、websocket、flask-apscheduler、pyecharts、flask-socketio等扩展库进行开发
熟练使用shell脚本
熟练使用Nginx 反向代理后台 uWSGI+Django,利用 Nginx 负载均衡策略减少服务器的压力
熟练使用docker进行项目部署、上线调试
熟练使用svn、github协同开发
熟悉hbase、hive、spark做数据处理
熟悉Go语言开发
智慧管理云平台:以mysql、mongo、fdfs、redis为核心,基于组织架构的稳定性,mysql作为权限系统的管理数据库,包含页面权限、菜单权限、按钮权限等管理,角色起到了桥梁作用,连接了用户和权限的关系,每个角色可以拥有多个权限,每个用户可以分配多个角色,且权限验证token贯穿平台的所有操作,通过redis数据库对token进行统一管理;基于业务逻辑的多变性,mongo作为业务数据的管理数据库,包含业务数据、统计分析数据等管理,fdfs作为文件管理数据库,包含业务流程中各节点的文件管理。平台通过对权限数据、业务数据、文件数据等的采集、处理、汇集,构建了数据仓库,依据数据仓库提供了数据共享交换、在线编辑、数据生成等相关业务,实现了建筑、煤矿等行业内外部系统的统一,完成了重要信息提取、统计和分析,辅助管理人员掌握现状,共享了历史数据和实时数据,实现了减少人工处理、方便企业的运营和决策、提高企业管理的效率的目标。
数据中台:以mysql、mongo、es为核心,mysql作为数据中台的管理数据库,包含数据源、数据处理逻辑、层级数据库等管理,数据源包含业务平台业务数据、原系统数据、第三方数据、互联网数据采集等,包含结构化数据、半结构化数据、非结构化数据,针对不同结构的数据源采取针对性的同步方式将数据同步到数据中台mongo一级库中统一管理(当前实现对结构化数据mysql的数据同步,包括历史数据、实时数据的同步,同步时间可实时同步,也可以设置定时同步),mongo作为数据存储、计算的数据库,包含原始数据、处理过程数据、统计分析数据等的管理,通过数据字典对数据定义一致性指标,统一命名、统一业务含义、统一计算口径,避免不同使用者同一个指标的数据对不上或者对同一个指标的数据理解不一致。数据中台的数据处理模型通过自主配置搭载mongo库计算实现。配置规则库中存储数据库mongo数据聚合规则、数据计算规则,通过规则的选择在mongo数据库中进行数据处理操作,数据结构优化以及数据逻辑由使用者决定,复杂的数据逻辑可直接作为规则存储,提高规则配置的便捷性和复用性,数据处理完成后,可选择将结果保存到分库数据库中同时创建数据字典管理。数据服务可针对数据中台mongo数据库中任意节点的数据操作,已实现统计分析、驾驶舱、数据运维、数据检索的业务场景,以上业务场景可通过页面自行配置数据逻辑、分析规则、呈现方式、页面布局等实现,其中es作为数据检索的载体,加快了数据赋能业务的速度,针对其他未知业务,如果当前模块无法满足,可在数据处理、页面支撑的过程中可单独添加模块处理。
人类设计图平台:数据库设计以mysql为核心,包含权限结构、内容结构、用户地址、用户关系、用户测试结果、用户操作等的管理。其中对平台用户激活管理,以celery分布式系统,实时处理的异步任务队列和任务调度。平台分为使用者和管理员两种客户端,管理员通过登录后可对设计内容进行搜索、查看、编辑、管理。通过内容模版可实现批量处理,其中搜索可采用关键词过滤、内容分类两个条件进行搜索筛查,用户端通过登录后可对用户关系、用户测试结果等进行管理。
配置规则库中存储数据库mongo数据聚合规则、数据计算规则,通过规则的选择在mongo数据库中进行数据处理操作,数据结构优化以及数据逻辑由使用者决定,复杂的数据逻辑可直接作为规则存储,提高规则配置的便捷性和复用性,数据处理完成后,可选择将结果保存到分库数据库中同时创建数据字典管理
以数据库系统、权限系统、内容设计、内容模版、后台管理、前台展示等产品体系为支撑,抽象内容管理的共性形成内容管理服务能力,为管理员、使用者提供业务支持,目标是减少人工处理、提高管理效率。平台分为使用者和管理员两种客户端,管理员通过登录后可对设计内容进行搜索、查看、编辑、管理。通过内
秉承着业务逻辑由模版文件管理的理念,从业务模版文件作为出发点设计业务流转审批过程,在流转过程中,为避免文件传输过程中的数据丢失,采用pop3协议传输。在流转的同时通过模版设计的逻辑自动识别业务数据存储到mongo数据库并在流转过程中可对文件进行在线预览、编辑、存储的操作,使用区块