北京后端兼职程序员

ID：134230

李明

爬虫工程师

公司信息：
北京锐安科技有限公司

工作经验：
2年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日

所在区域：
北京
全区

技术能力

1. 熟练使用Python urllib2、Requests等网络模块。
2. 熟练使用Selenium+PhantomJS实现动态HTML抓取。
3. 熟练掌握Scrapy框架、scrapy-redis分布式组。
4. 了解Django/Flask框架。
5. 熟悉Redis缓存技术。
6. 了解MySQL，MongoDB数据库。
7. 熟悉CSS,JS,HTML，能够完成简单的页面开发。
8. 了解JavaScript、Ajax、JQuery等WEB前端技术。

项目经验

项目名称：态势感知大数据平台系统
开发环境：Pycharm + Scrapy框架 + Scrapy-redis分布式组件 + Mongodb + Redis
项目工作：爬取贴吧、微博热门，明星，大V的微博，分析内容和客户公司相关信息，进行反馈，实时抓取微博与客户有关的负面微博，及时汇报给客户
项目职责：负责爬虫的开发和维护
主要技术：
1、采用scrapy框架开发 scrapy-redis分布式实现
2、请求中加入cookie，获取登陆权限
3、对于图片登陆验证，使用Tesseract等第三方模块识别
5、分布式使用Redis做为缓存数据库，利用Redis的高并发和I/O读写来实现下载，将数据同步到Mongodb数据库里，并建立索引方便查询和管理
6、为了保证数据抓取的准确，购买了IP代理池，每10次发送请求，更换一次代理ip

相似人才推荐

联系需求方端客服

热门标签列表

程序员接私活程序员兼职企业外包外包案例

热门城市人才

北京兼职程序员上海兼职程序员广州兼职程序员深圳兼职程序员杭州兼职程序员成都兼职程序员天津兼职程序员重庆兼职程序员武汉兼职程序员西安兼职程序员南京兼职程序员长沙兼职程序员苏州兼职程序员厦门兼职程序员福州兼职程序员合肥兼职程序员济南兼职程序员青岛兼职程序员大连兼职程序员长春兼职程序员沈阳兼职程序员哈尔滨兼职程序员石家庄兼职程序员太原兼职程序员无锡兼职程序员南昌兼职程序员洛阳兼职程序员郑州兼职程序员南宁兼职程序员珠海兼职程序员宁波兼职程序员昆明兼职程序员东莞兼职程序员贵阳兼职程序员温州兼职程序员佛山兼职程序员中山兼职程序员海口兼职程序员常州兼职程序员兰州兼职程序员呼和浩特兼职程序员乌鲁木齐兼职程序员海外兼职程序员其他兼职程序员山东兼职程序员远程兼职程序员

热门城市职位

北京程序员招聘上海程序员招聘广州程序员招聘深圳程序员招聘杭州程序员招聘成都程序员招聘天津程序员招聘重庆程序员招聘武汉程序员招聘西安程序员招聘南京程序员招聘长沙程序员招聘苏州程序员招聘厦门程序员招聘福州程序员招聘合肥程序员招聘济南程序员招聘青岛程序员招聘大连程序员招聘长春程序员招聘沈阳程序员招聘哈尔滨程序员招聘石家庄程序员招聘太原程序员招聘无锡程序员招聘南昌程序员招聘洛阳程序员招聘郑州程序员招聘南宁程序员招聘珠海程序员招聘宁波程序员招聘昆明程序员招聘东莞程序员招聘贵阳程序员招聘温州程序员招聘佛山程序员招聘中山程序员招聘海口程序员招聘常州程序员招聘兰州程序员招聘呼和浩特程序员招聘乌鲁木齐程序员招聘海外程序员招聘其他程序员招聘山东程序员招聘远程程序员招聘

热门人才推荐

热门职位推荐

iOS工程师Android工程师前端工程师后端工程师嵌入式工程师UI设计师产品经理测试工程师运维工程师游戏工程师运营/编辑其它

找人才 | 接项目 | 招聘专员 | 京ICP备16030138号-1 | Copyright © 2015-2025 猿急送