1、熟悉Flask/Tornado等常用的开发框架;2、熟悉使用MySQL数据库及调优能力,熟细Redis, MongoDB;3、熟悉Linux\\Unix环境、熟悉TCP/P、HTTP/HTTPS等通信协议;4、熟悉分布式、缓存、消息、负载均衡实现。5、xx年以上互联网产品相关开发经验,熟悉敏捷开发流程,了解并具有单元测试、代码审核、持续集成等相关经验;6、热爱编程,注重代码风格和可维护性,有良好的软件架构设计能力;7、熟悉分布式系统开发,熟悉NOSQL数据库(MongoDB、Hive等)和关系数据库 (MySQL、PostgreSQL等) 相关开发与性能优化;8、熟悉Linux环境下的后端开发,有使用Python进行项目开发的经验。9、精通Python语言,熟练使用常用模块,使用过Django/Tornado等web框架;10、具备良好的编码习惯;熟悉常用算法和数据结构,熟悉基础的网络知识,精通网络编程和多线程;11、具有良好的自学能力,能通过研究开源项目来解决开发中遇到的难题;12、熟悉Python数据处理和分析,熟悉清洗、分析的相关库:Numpy、Pandas、Sklearn、Matplotlib等,掌握基本的BI工具:Excel/PowerBl:
具备良好的基本功,熟练使用基本的数据结构和算法,深入理解多线程、socket等相关技术;具备良好的编码习惯,结构清晰,命名规范,逻辑性强,代码冗余率低;深入理解框架实现原理及特性;熟练使用python的常用库,熟悉Python的高级特性,深入理解各种设计模式和应用场景。
通过逆向网站有:七麦,云汉芯城,产业政策大数据平台,企名片,全国招标投标网,同花顺,喜马拉雅,巨潮咨询,巨量算数,烯牛数据,百度文库,空气质量加测分析,蝉妈妈,观鸟,起点中文网,各大音乐网站等等。
爬取过各大网站,熟悉js逆向,能迅速高效的完成任务,有良好的编程基础,任劳任怨,能对数据进行分析,存储。
负责根据需要爬取的数据进行需求分析,分析目标网站的网站结构和一些反爬手段; 负责通过requests、scrapy、scrapy-redis、xpath等技术手段编写爬虫程序进行内容抓取,对抓取到的数据进行清洗过滤,分表存储,以供其他部门使用; 负责定期维护ip代理池,清除失
负责根据需要爬取的数据进行需求分析,分析目标网站的网站结构和一些反爬手段; 负责通过requests、scrapy、scrapy-redis、xpath等技术手段编写爬虫程序进行内容抓取,对抓取到的数据进行清洗过滤,分表存储,以供其他部门使用; 负责定期维护ip代理池,清除失
负责根据需要爬取的数据进行需求分析,分析目标网站的网站结构和一些反爬手段; 负责通过requests、scrapy、scrapy-redis、xpath等技术手段编写爬虫程序进行内容抓取,对抓取到的数据进行清洗过滤,分表存储,以供其他部门使用; 负责定期维护ip代理池,清除失
负责根据需要爬取的数据进行需求分析,分析目标网站的网站结构和一些反爬手段; 负责通过requests、scrapy、scrapy-redis、xpath等技术手段编写爬虫程序进行内容抓取,对抓取到的数据进行清洗过滤,分表存储,以供其他部门使用; 负责定期维护ip代理池,清除失