猿急送>

其他其它兼职程序员

ID：259975

·J·

爬虫开发工程师

公司信息：
长沙职通文化传播有限公司

工作经验：
2年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
可工作日远程

所在区域：
其他
全区

技术能力

1，主要使用语言python，熟悉Java、JavaScript语言，
2，熟练掌握MySQL数据库、Linux系统的常用命令
3，熟悉数据爬虫技术，常用爬虫框架是Scrapy，BeautifulSoup、Pyquery等爬虫库熟练掌握
4，熟悉使用Elasticsearch搜索引擎
5，熟悉大数据配套技术（Hadoop、Zookeeper、Flume、Hbase、Hive、Kafka等），能自主搭建大数据开发平台
6，掌握数据分析工具numpy，pandas,matplotlib等

项目经验

数据挖掘与可视化的市场调研项目
项目描述：
该项目从各种数据源如社交媒体、论坛和新闻网站中采集相关数据，并进行数据清洗，处理和可视化，为项目团队提供市场调研支持和决策依据

责任描述：
1. 负责编写爬虫程序，从各种数据源中采集相关数据。根据项目需求，编写定制化的爬虫逻辑，包括与社交媒体API的交互，解析论坛页面和新闻网站的爬取等。
2. 使用数据清洗和处理技术对采集到的数据进行整理和筛选，确保数据质量和一致性。处理缺失值、异常值和重复数据等，使数据适合后续的分析和可视化处理
3. 利用数据可视化工具如Matplotlib，创建图表和可视化报告，以呈现数据的统计分析结果和洞察。根据项目需求，设计合适的可视化方式，包括折线图、柱状图、热力图等，以有效传达市场调研的关键信息。
4. 协助团队进行数据分析和解读。提供有力的市场调研支持和决策依据

项目亮点：
1. 成功开发了定制化的爬虫程序，适应了多个电商网站的不同页面结构和数据提取需求
2. 通过代理池和请求头轮换技术，有效应对了反爬机制。保证了爬虫系统的稳定运行
3. 数据清洗和处理环节的优化，确保采集到的产品信息质量高，并符合后续处理和分析的要求

案例展示

电商产品信息采集

责任描述： 1.我负责开发一个爬虫系统，针对每个电商网站编写适配的爬虫逻辑 2.个人独立编写针对每个网站的定制化爬虫程序，通过解析HTML页面结构和使用Xpath或正则表达式提取所需数据（包括产品名称、价格、描述、评论等） 3.为了提高效率和稳定性，使用代理池和请求头轮换，
数据挖掘与可视化的市场调研项目

项目描述：该项目从各种数据源如社交媒体、论坛和新闻网站中采集相关数据，并进行数据清洗，处理和可视化，为项目团队提供市场调研支持和决策依据责任描述： 1. 负责编写爬虫程序，从各种数据源中采集相关数据。根据项目需求，编写定制化的爬虫逻辑，包括与社交媒体API的交互，解