ID：320316
Niyumi
爬虫专家
- 公司信息：
- Python数据分析
- 工作经验：
- 5年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 所在区域：
- 北京
- 海淀
技术能力
负责根据需要爬取的数据进行需求分析，分析目标网站的网站结构和一些反爬手段；
负责通过requests、scrapy、scrapy-redis、xpath等技术手段编写爬虫程序进行内容抓取，对抓取到的数据进行清洗过滤，分表存储，以供其他部门使用；
负责定期维护ip代理池，清除失效代理ip，根据爬取过程中遇到的一些反爬手段，优化自己的程序；
负责使用web的Django框架参与其他公司内部软件的开发；
负责数据的去重，清洗，对于亚马逊ip反爬，检测验证码，制定具体应对措施。
项目经验
项目名称: 基于爬虫和大数据的结合
开发周期: 3个月（2023-2-2023-3）
项目描述:
爬虫将数据导入到mysql数据库中，通过sqoop将MySQL中的数据导入到Hadoop的hdfs中，Hadoop集群运用hive进行sql数据库查询，使用hdfs将数据存储在节点，并实现提取出用户留存率，日创建用户和日活跃用户，用户地址，各个年龄段的用户。通过一系列的数据筛选，提取，转换来调查用户需求，来描绘用户画像。
项目架构: Mysql + Sqoop + Hadoop +python爬虫
技术实现:
1. 使用爬虫将爬到的数据传入mysql里面。
2. 使用Sqoop将MySql的业务数据导入HDFS,将原本就保存在本地的了日志文件导入到HDFS
3. 使用Sqoop将MySql的业务数据导入HDFS,将原本就保存在本地的了日志文件导入到HDFS
3.使用SparkCore/SparkSql对数据进行清洗，最后将数据存到Hdfs，映射的到hive表；
3. 创建ODS、MI、DWD、WT、DIM、TMP层；
5. 将数据进行图表展示，发送给运营、产品、测试、管理层。
相似人才推荐
-
1500元/天Windows驱动工程师联想概要：10年c/c++开发经验，熟练掌握网络、数据库、界面等技术开发，熟悉网络通信、路由交换、接口等技术；
-
1000元/天数据工程师万翼科技有限公司概要：7年工作经验。熟练使用scrapy、aiohttp、asyncio、flask、requests等库，
-
500元/天普工长越汽车概要：正在学习python和网安，正在学习python和网安，正在学习python和网安，正在学习pyth
-
500元/天数据分析PA概要：掌握的技术涵盖了数据分析、报表可视化、数据建模和爬虫方面的多个领域。熟练掌握的技术和工具如下
-
1000元/天算法工程师无锡奥特维概要：掌握 pytorch、yolo、Opencv、python、Open3D、Halcon 、LabVI -
500元/天爬虫没有概要：熟练于python爬虫，网页数据采集，自动化，熟悉Python编程语言、了解常用的爬虫库（如Requ
-
500元/天BI报表开发工程师长亮科技有限公司概要：1.熟悉帆软报表,有 FRCP-D证书，熟悉帆软的性能调优，拥有百万级页面数据调优经验. 2.熟悉
-
800元/天CV算法工程师康湾灵境智能概要：编程语言：熟练使用Python、C++（OpenCV）进行图像相关项目开发，有良好的代码编程规范
