掌握Java 技术
掌握Redis技术
掌握Mysql 技术
掌握Http 技术
掌握Python 技术
掌握Selenium 技术
掌握Scrapy 技术
掌握Elastic Search 技术
能够处理反爬
爬取过国内知名的旅游网站,如途牛,携程,爬取票务,酒店等信息
爬取过国内外航空公司的票务信息,实现实时订票
爬取过国内外很多的电商网站,如亚马逊,美团,淘宝,京东等
开发过完整的分布式爬虫框架
有自己专门的爬虫团队来做兼职,并且目前有人能够全职处理
角色 | 职位 |
负责人 | 大数据爬虫工程师 |
队员 | 后端工程师 |
能够每天循环的爬取电商的商品详情,并且能够实时监控电商平台的爬虫运行情况 每天能够自动更新亚马逊,沃尔玛等电商平台 爬取的电商平台有欧美的电商网站 东南亚电商网站shopee lazada tokopedia blibli等 国内的,淘宝,拼多多,京东等电商平台
开发了一套完整的电商系统,包括商城系统以及后台管理系统 前台系统包括商品的展示,购物车,购买,订单流程,会员中心等 后台管理系统包括商品管理,订单管理,会员管理内容管理财务管理权限管理等