猿急送>

其他其它兼职程序员

ID：389368

.

爬虫工程师

公司信息：
腾讯

工作经验：
1年

兼职日薪：
500元/8小时

兼职时间：
可工作日驻场（自由职业原因）

所在区域：
其他
全区

技术能力

主要掌握数据结构，计算机网络，数据库原理，python编程，操作系统，算法设计与分析，机器学习等
对于爬虫框架：熟练运用Scrapy,Requests,等等
熟练运用python，熟悉java，C++

项目经验

• 项目描述：负责从多个电商网站（如淘宝、京东等）采集商品信息（包括商品名称、价格、销量、评论等），用于数据分析和市场调研。• 项目职责：• 分析目标网站的网页结构，编写高效的爬虫代码，实现对商品信息的精确抓取。• 处理动态加载数据，通过模拟浏览器行为（使用 Selenium 等工具）突破网站的反爬虫机制。• 将采集到的数据存储到 MySQL 数据库中，并进行数据清洗和初步分析，确保数据的准确性和可用性。• 实现分布式爬虫架构，利用 Scrapy-Redis 框架提高爬虫的效率和稳定性，支持多节点并发爬取。• 技术栈：Python、Scrapy、Selenium、MySQL、Redis、分布式爬虫• 成果：成功采集了超过 [X] 万条商品信息，数据准确率达到 95%以上，为公司的市场分析提供了有力的数据支持，帮助公司优化了产品定价策略，提升了市场竞争力。

案例展示

电商数据采集

电商数据采集是指通过各种技术手段和工具，从电商平台获取数据的过程。以下是电商数据采集的详细功能：数据采集功能 • 多平台数据采集：能够覆盖多个电商平台，如淘宝、京东、拼多多、亚马逊、TikTok等，采集不同平台上的商品信息、用户行为、订单数据等。 • 多维
豆瓣电影数据爬虫

豆瓣电影数据爬虫的功能主要围绕数据采集、数据处理、数据存储和数据可视化展开。以下是详细的豆瓣电影数据爬虫功能介绍： 1.数据采集 1.1 爬取电影基本信息 • 电影名称：获取电影的中文名和英文名。 • 评分：获取电影在豆瓣上的评分。 • 评分人数
新闻爬虫

以下是几个典型的新闻爬虫项目及其功能特点介绍： 1\.NewsSpider：高效新闻爬虫框架 • 项目简介：基于Scrapy构建的高性能新闻爬虫系统，提供数据清洗、存储和分析功能，简化新闻数据挖掘过程。 • 功能特点： • 基于Scrapy：利用Scr
新闻爬虫

以下是几个典型的新闻爬虫项目及其功能特点介绍： 1\.NewsSpider：高效新闻爬虫框架 • 项目简介：基于Scrapy构建的高性能新闻爬虫系统，提供数据清洗、存储和分析功能，简化新闻数据挖掘过程。 • 功能特点： • 基于Scrapy：利用Scr