掌握python编程,有丰富编程经验。
熟悉python脚本爬虫、scrapy框架爬虫,大量爬虫经验,对反爬虫有一定见解。
精通django开发、mtv模式和orm映射技巧。
精通elasticsearch存储相关技巧
精通django-restframework完成后端相关接口开发功能;
精通bootstrap框架、html、css语法
精通linux平台开发、快速搭建python开发环境,掌握常用的linux命令。
熟练使用微信支付支付宝支付,公众号开发,小程序开发。
有大批量数据处理的能力,负责千万-亿级别数据的本地单机处理
负责公司用户画像构建,和相应的数据分析。
公司每日自动化报表任务的定时定点提交和定点的更新到本地
爬虫,对登陆网站,app等数据进行爬取,并进行自动化登陆和验证码反爬
使用scrapy框架作为基础,运用正则表达式进行匹配,采取手动翻页,并储入数据库且实现主外键关联,达到相应效果。
将一个网页字符串进行解析,可以按照我们的要求来提取出我们有用的信息,也可以根据DOM树的解析方式来解析。网页解析器有正则表达式(直观,将网页转成字符串通过模糊匹配的方式来提取有价值的信息,当文档比较复杂的时候,该方法提取数据的时候就会非常的困难)、html.parser(Pyth