1、熟悉常用数据库,包括MySQL 、Redis、MongoDB等等;
2、熟悉Web开发技术、尤其是前端html/css/javascript技术,有实际的Web开发经验;
3、熟悉并精通python各类爬虫库,requests,aiohttp,httpx等请求库,re,lxml,beautifulsoup,pyquery,lxml等解析库,MySQL 、Redis、MongoDB等数据库,scrapy等爬虫框架,熟悉各种反爬应对措施,有大量的js逆向经验。
1. 正品折扣
爬取包括淘宝,京东在内的几十家商城的商品信息,通过数据分析,找出其中的正品。同样商品找出最美丽实惠的的价格,类似于曾经的一淘。
2. 天眼资讯
抓取上百家垂直媒体网站,为某细分行业获取相关资讯,帮助决策者获得最新的政策法规,商机,竞争对手动向等关键资讯。
负责从包括淘宝,京东在内的几十家商城爬取商品信息,通过专业的数据分析方法,找出其中的正品。相同的商品选出价格最美丽的一款产品。通过抓包工具抓取数据,然后进行逆向,爬取,保存。
主要负责其中三成的前端页面的编写,主要是html/css/javascript语言与综合运用各种前端的框架。 后台管理系统,外网无法访问,链接为消防网链接。