1、具有良好的技术能力,掌握计算机体系结构、操作系统、计算机网络、数据结构等基础知识;
2、熟悉类Unix系统内核和架构、Tcp/Ip协议,掌握常用linux命令;
3、熟练使用Python,Java/C等任意一门静态类型语言编程经验;
4、熟悉关系型数据库如mysql oracle及数据建模,掌握事务、索引的实现原理;
5、善于解决问题,拥有较强的自学能力,具备创新思维能力,具备阅读库或框架的源码解决问题的能力。
6、负责分布式网络爬虫系统的架构设计与开发;
7、攻破各种反爬策略,快速解决各类技术疑难问题,建设反爬对抗组件库;
8、编写抓取互联网爬虫代码,负责数据采集,参与需求分析和梳理,爬虫采集策略制定和实现;
9、研究各种网页、app、小程序端接口,提高网页抓取效率和质量;
10、攻克爬虫难题。
1.图片批量处理器Python项目开发
2.火车票分析助手-Python项目开发
3.今天吃什么微信小程序-Python项目开发
4.高德地图58租房-Python项目开发
5.python django库开发网上电子书店项目
角色 | 职位 |
负责人 | python后端开发 |
队员 | 产品经理 |
队员 | UI设计师 |
队员 | iOS工程师 |
队员 | 安卓工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |
项目整体功能和技术栈介绍如下: 1.生鲜类产品 B2C PC电脑端网页 2.功能模块:用户模块 商品模块(首页、 搜索、商品) 购物车模块 订单模块(下单、 支付) 3.用户模块:注册、登录、激活、退出、个人中心、地址 4.商品模块:首页、详情、列表、搜索(hay
这是一个爬取B站免费视频的爬虫。 以下为主要思路: B站视频类型不同,解析规则也不同。比较烦,需要一对一写代码 1. # 视频有选集需要专门开发 2.番剧需要专门开发 3.视频无选集需要专门开发