ID：353803
W
高级爬虫工程师
- 公司信息：
- 软通动力
- 工作经验：
- 7年
- 兼职日薪：
- 700元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 深圳
- 龙岗
技术能力
熟练使用python，go语言，flask框架，go-gin框架,asyncio框架，分布式爬虫。
熟练使用redis，mongo，lemondb，kafka，docker，selenium，playwrigth，linux等工具。熟悉js逆向，cookie加密，js混淆，混淆还原，hook，代理，模拟滑块，rpc，瑞数等反爬。
熟悉搭建代理池，cookie池，熟悉redis，mongo海量数据存储优化。
了解spark,elasticsearch,hdfs，app抓取。
项目经验
负责小环爬虫平台，大环渲染爬虫，压力控制开发，性能优化，部署维护。
负责需定制化爬虫开发，所有js逆向和反爬问题攻坚突破，为其他人提供技术支撑。
负责视频，小说，词典，app，box，大模型，站点覆盖等垂域抓取。
负责日常的case挖掘，case分析，case修复等。
负责爬虫服务器，mongo，redis，docker优化扩容等维护，爬虫程序巡检。
负责小环爬虫团队日常管理，所有对外需求的对接，沟通，任务协调分配和进度跟踪。
案例展示
-
爬虫平台
1.基于go-gin构建爬虫后台。 2.基于python+asyncio+aiohttp+playwright+mongo+redis+mysql+docker搭建爬虫系统
-
爬虫
通过爬虫平台，有cookie池， 定时任务，网站覆盖，压力控制，瑞树等功能。 在服务器或者Windows上可以使用docker直接进行部署。
相似人才推荐
-
500元/天计算机研究生在读无概要：我具备广泛而深入的技术能力，特别是在C++和Python编程方面。我在软件开发中，能够使用C++进行
-
500元/天实习709所概要：目前电子科技大学（985）研二硕士在读，在研究所联培，负责开发智能对战博弈平台（强化学习），研一在校
-
500元/天学生无概要：比较懂python，c+，Java。 部分软件也会用如：office，pr，ps，ae，ai，id
-
500元/天无无概要：。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
-
500元/天后端开发工程师北森概要：具有丰富的全栈开发经验，擅长使用Java、.NET、Vue.js、HTML、CSS、JavaScri
-
500元/天Python 易语言个人小工作室概要：掌握的技能Python，uniapp，易语言，懒人精灵，Javascript，微信小程序等平台的开发
-
500元/天初级NLP大模型开发工程师广州臣信科技有限公司概要：1、熟练掌握C指针、数组、函数的使用 2、熟悉Python中常见的数据类型包括整数、浮点数、字符串
-
500元/天java开发工程师/全栈工程师广东某软件科技有限公司概要：后端：主Java、略懂C#、PHP、Node 框架：JSP、SSM、Springboot、Myba
