之遥的案例列表

竞品猎手

文化娱乐-旅游 之遥

在“竞品猎手”项目中,担任了项目核心开发工程师。以下是这项目中负责的具体工作: 1. 技术选型与框架搭建:选择了Scrapy作为主要的爬虫框架,因为它的高效性和灵活性能够满足我们对大规模数据抓取的需求。同时,负责搭建项目的基本架构,包括爬虫的分布式部署、数据存储方案以及异常处理机制。 2.爬虫开发与优化:开发了多个针对不同竞品网站的爬虫,负责编写爬虫代码,处理页面解析、数据抽取和持久化存储。针对反爬虫策略,设计了相应的绕过方案,如IP代理池、User-Agent轮换、请求频率控制等,确保爬虫的稳定运行。 3.数据清洗与处理:为了保证数据的准确性和可用性,编写了一系列的数据清洗脚本,对抓取...

竞品猎手
竞品猎手

智能报表生成器

工具-办公软件 之遥

在“智能报表生成器”项目中,担任项目的主要开发者。以下是在这项目中承担的具体职责: 1. 需求调研与方案设计:首先与业务部门沟通,了解他们对报表的具体需求,包括报表内容、格式、更新频率等。基于这些需求,设计了报表自动生成的整体方案,并选择了合适的工具和技术栈。 2. 技术选型与开发环境搭建:为了实现报表的自动化生成,选用了Python作为主要开发语言,结合Pandas进行数据处理,以及Matplotlib和ExcelWriter等库进行报表的格式化和输出。还负责搭建了开发环境,并配置了相关的依赖库。 3.数据处理与逻辑实现:编写了数据处理脚本,从数据库中提取数据,并进行清洗、转换和汇总。...

智能报表生成器
智能报表生成器
------ 加载完毕 ------
联系需求方端客服