具有 2 年 Python 爬虫开发经验,熟悉网络爬虫和数据挖掘技术。曾参与多个项目的技术研发和团队管理。在工作中,注重团队合作和沟通,善于发现问题和解决问题。
技能专长:
熟练掌握 Python 编程语言,熟悉常用的爬虫框架和工具,如 Scrapy、Selenium、BeautifulSoup 等。
熟悉数据挖掘和数据分析技术,擅长使用 Numpy、Pandas 等库进行数据处理和分析。
熟悉分布式爬虫技术,有丰富的反反爬措施经验,如使用代理、设置 cookie、User-Agent 等。
具备良好的代码规范和编程习惯.。
具备良好的沟通能力和团队合作精神,能够承担一定的团队管理职责。
曾多次评为优秀员工
负责公司数据采集和爬虫开发工作,设计并实现了多个分布式爬虫,提高了数据采集效率和质量。
负责数据清洗和分析工作,使用 Numpy、Pandas 等库进行数据处理和分析,为公司业务提供了有力的数据支持。
参与了公司多个项目的研发工作,担任项目负责人,负责项目策划、技术研发和团队管理。
设计和实现了反反爬措施,如使用代理、设置 cookie、User-Agent 等,保证了数据采集的稳定性和可靠性。
QB项目(2019 年 9 月 -2020 年 3 月)
项目简介:该项目旨在收集并分析行业竞争数据,为公司制定市场战略提供支持。
项目职责:负责项目中的数据采集和爬虫开发工作,设计并实现了多个分布式爬虫,提高了数据采集效率和质量。
新产品推进项目(2020 年 4 月 -2021 年 1 月)
项目简介:该项目是为了收集用户行为数据,分析用户需求,优化公司产品。
项目职责:参与项目策划,负责技术研发和团队管理,设计并实现了数据清洗和分析模块,为产品优化提供了有力的数据支持。
(1)登录注册模块:允许新用户和管理员通过此模块进行注册,进入系统主界面,同时用户的注册信息将被登记,记录进入数据库表中,方便下次用户登入。同时,此模块还包含了登录信息验证,以识别用户输入信息是否合法。 (2)用户管理模块:此模块能让管理员对现有用户基数,及各个用户的基本信息
综合涉及python爬虫,js逆向,selenium自动化,数据分析numpy,pandas库,以及分布式爬虫开发,scrapy框架。
(1)登录注册模块:允许新用户和管理员通过此模块进行注册,进入系统主界面,同时用户的注册信息将被登记,记录进入数据库表中,方便下次用户登入。同时,此模块还包含了登录信息验证,以识别用户输入信息是否合法。 (2)用户管理模块:此模块能让管理员对现有用户基数,及各个用户的基本信息
(1)登录注册模块:允许新用户和管理员通过此模块进行注册,进入系统主界面,同时用户的注册信息将被登记,记录进入数据库表中,方便下次用户登入。同时,此模块还包含了登录信息验证,以识别用户输入信息是否合法。 (2)用户管理模块:此模块能让管理员对现有用户基数,及各个用户的基本信息