ID：282722
林尛
爬虫工程师
- 公司信息：
- 北京氢元数据信息技术有限公司
- 工作经验：
- 1年
- 兼职日薪：
- 500元/8小时
- 兼职时间：
- 下班后
- 周六
- 周日
- 所在区域：
- 北京
- 丰台
技术能力
1.熟练应用Python的库及模块，有良好的编程习惯
2.熟练掌握 MySQL主流关系型数据库开发技术
3.熟练使用re/xpath/lxml解析模块；
4.熟练requests爬虫模块；
5.熟练使用charles抓包工具；
6.熟悉scrapy爬虫框架，熟悉selenium自动化工具；
7.熟悉解决反爬代理ip，验证码处理；
8.熟悉js逆向
9.了解app逆向
项目经验
北大法宝
项目描述：
爬取全国法院1991-2013年的案例
1、爬取所有法院，cookie会过期，需要模拟获取cookie
2、爬取所有法院案例的列表页信息和详情页链接，数据量交大，用的多线程爬取，存到mongo里
3、爬取所有案例的详情页信息，请求比较慢，用的多线程和分布式，将请求放到redis中，并对爬取的数据进行解析、拆分、清洗，存到Mongo里
个人职责：
编写采集程序，解决反爬，数据清洗，分表存储，维护代理ip
相似人才推荐
-
500元/天爬虫工程师无概要：熟练掌握 python,掌握，requests，xpath，正则表达式，BeautifulSoup，
-
500元/天无无概要：熟悉运用文档、表格、ppt等办公软件，ps修图、cad画图、html网页设计也稍有涉猎，不会的我可以
-
500元/天算法工程师美团概要：在大公司中承担算法工程师职位，熟练掌握python，C，C++等语言，有很强的机器学习，深度学习实践
-
500元/天无无概要：掌握python爬虫技术，会用python，可进行数据分析，有相关的机器学习和建模经验。本科是统计学
-
500元/天深度学习算法工程师广东省擎天云信息技术有限公司概要：掌握的技术如下： 1、pytorch/tensorflow深度学习框架 2、掌握SOTA的网络模
-
500元/天技术工程师北京优炫软件股份有限公司概要：1 、熟练 Linux 操作系统运维以及常用的 Linux 命令，熟悉 shell 脚本， 防火墙
-
600元/天高级大数据开发北京国信会视科技有限公司概要：熟悉Hadoop、Spark、Flink架构常用生态，进行数据平台的搭建和数据分析； 熟悉数据仓库
-
2000元/天信息技术经理西安某金融公司概要：参加信息化建设工作5年，具有全面的IT从业经验，经手上线多项信息化系统建设运维工作，同时具备信息安全
