、风控变量衍生与数据处理
项目描述:根据各大银行的征信报告数据,通过解析、处理和衍生变量,为公司的风控策略制定提供支持。
项目职责:
● 深入研究和理解各大银行(包括人行和平安银行)的征信报告数据结构、字段定义和关联关系。
● 使用 Python和 Groovy 编程语言,利用其灵活的语法和强大的数据处理能力,对征信报告数据进行解析和处理。
● 根据风控策略需求,衍生新的风控变量,并确保其准确性、稳定性和一致性。
● 将衍生的风控变量导入到公司的幻方平台或其他相关系统中,确保数据的格式和结构正确。
● 与幻方平台团队和风控模型团队紧密合作,提供所需的技术支持和协助,确保风控变量的正确导入和使用。
● 进行风控变量的优化和调整,以提高风控模型的准确性和预测能力。
● 设计和实现高效的算法和数据处理逻辑,以确保在规定时间内完成大规模变量衍生和数据处理任务。 技术描述:
● 使用 Python和 Groovy 编程语言进行开发,利用其丰富的库和工具来处理和分析征信报告数据。
● 借助 pandas、numpy 等数据处理和分析库,对征信报告数据进行清洗、转换、筛选和衍生。
● 通过 xpath、BeautifulSoup、JsonPath 等技术解析和提取征信报告数据中的关键信息。
● 利用多线程、多进程和协程等技术,提高数据处理和变量衍生的效率和性能。
● 熟悉数据库系统 MySQL ,使用 SQL 语句优化数据查询和操作。
● 熟悉常见的数据结构和算法,以支持高效的数据处理和变量衍生过程。
● 遵循软件工程的最佳实践,编写可维护、可测试的代码,并进行必要的单元测试和集成测试。