实时爬取各大网站数据,异步,优化数据库,进行深度AI人工智能对比数据,根据条件不同制作不同的宏观图表,精通python,C#亦可。
1.能应对大部分反爬技术
2.熟练掌握linux
3.熟练使用MySQL
4.熟练使用正则表达
1.做项目已经快5年了,能力放心
2.爬取过大型网站(58同城,淘宝,京东)平台数据,并进行分析处理。对比价格,以及实时监控价格,
角色 | 职位 |
负责人 | 网络爬虫数据分析师 |
队员 | 安卓工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |
利用python获取58同城上的网络兼职信息,并排列数据进行对比,(如价格,每日完成量,保证金等)。另可做图片识别
实现拟视频(每0.2截屏一次)然后同时识别图片信息,对图像进行二值化以及降噪处理,包括识别内容但不限于数字,中文,英文,车牌等