了解HTML 知识、HTTP 协议的基本知识、正则表达式、数据库知识,常用抓包工具的使用、爬虫框架的使用、涉及到大规模爬虫。
了解分布式的概念、消息队列、常用的数据结构和算法、缓存,还包括机器学习的应用。
会使用 Chrome 或者 FireFox 浏览器去审查元素,跟踪请求信息。
理解 HTTP 协议,理解常见的加解密算法,理解 HTTP 中的 cookie,HTTP 代理,HTTP中的各种HEADER。
熟悉项目开发流程,工程经验丰富,能对一个任务的难度、时间、花费进行合理评估。
做过一些大规模抓取任务、监控任务、移动端模拟登录并抓取任务等。