1. 数据源整理与构建:具备丰富经验从各种业务原始数据中提取并整理出模型所需数据源,能够
独立构建产品所需的高质量数据源,包括从公网、开源数据集及自产数据中获取和优化数据。
2. 数据处理管道设计:负责设计和实施高效的大模型数据处理管道,确保数据处理的规范性和高
效性,提升数据利用率和处理速度。
3. 跨部门协作能力:与产品经理、算法工程师及其他技术团队成员紧密合作,通过优化数据质量
支持大模型产品的实际部署和优化。
4. 高级数据处理技术:熟练掌握 Python 进行快速高效的数据处理,包括数据定义、清洗、拆分及
存储等,能够根据项目需求自主完成数据处理任务。
5. 多样化的数据处理能力:熟练掌握 Python ,能够处理包括点云(open3d 等)、音频(ffmpeg、
pydub、OpenCV 等)、图片(OpenCV、pillow 等)、文本以及 OCR 等多种数据类型,展现了全面
的数据处理技能。
6. Python 第三方库的使用:练使用使用 Python 进行数据分析和数据处理,熟悉 Pandas、NumPy
等数据处理库。
7. Git 的使用:熟练使用 git 进行代码管理(拉分支、合并代码等)
8. Promot 的调优:具备高级技能在使用 GPT-4 等先进大型语言模型进行自然语言处理和机器学习
任务的能力(调 promot、实现本地数据跟 gpt 进行交互包括不限于图片、文本)
工作内容:
- 收集和整理原始数据,包括从不同来源获取数据、清洗数据、转换数据格式、拆分、存储等。
- 进行数据分析和处理,使用统计方法和机器学习算法对数据进行挖掘和建模,提取有价值的信息。
- 编写和优化数据处理脚本和程序,以提高数据处理效率和准确性。
- 与团队成员和相关部门合作,了解业务需求,为其提供数据支持和解决方案。
- 监控数据质量和数据流程,确保数据的准确性和完整性。
工作总结:
在公司的数据处理工作中,我负责收集、整理和处理大量的原始数据。通过对数据的分析和挖掘,我能够发现其
中的规律和趋势,并提供有价值的信息和见解。我还编写了一些数据处理脚本和程序,以提高数据处理的效率和
准确性。与团队成员和相关部门的合作也让我更好地理解业务需求,并为其提供了数据支持和解决方案。通过监
控数据质量和数据流程,我确保了数据的准确性和完整性,为公司的决策提供了可靠的数据基础。
工作结果:
通过我的工作,公司能够更好地理解和利用数据,从而做出更明智的决策。我提供的数据支持和解决方案帮助团
队和相关部门更好地理解业务需求,并提供了有针对性的解决方案。我的数据处理脚本和程序提高了数据处理的
效率和准确性,节省了大量的时间和人力资源。同时,我监控数据质量和数据流程,确保数据的准确性和完整性,
为公司的决策提供了可靠的数据基础。总的来说,我的工作为公司的数据处理工作做出了积极的贡献。
1. 扎实的编程基础:本科及以上学历,计算机相关专业背景,具备扎实的编程能力和深厚的理论 基础。 2. 丰富的实战经验:拥有两年以上的 AI 数据处理经验,熟悉数据处理全流程,能够高效解决实际 工作中的数据问题。 3. 快速学习与适应能力:对新技术有强烈的学习兴趣和快速掌
技术实现:shutil、os、opencv、open3D、json 等 开发环境:pycharm、python3.8.4、python 第三方库等 开发时间:2022 年 6 月-2023 年 2 月 项目职位:python 开发实习生 项目职责: 1、根据项目需求,进