使用语言:Python
Python 基础扎实,有良好的编码习惯及编码风格。
熟悉Python常用第三方库,并能阅读英文官方文档。
数据爬取和数据分析:
a.熟练使用requests进行数据爬取
b.熟悉Scrapy框架
c.熟练使用selenium+chrome进行模拟操作和数据爬取
d.熟练使用scrapy-redis框架搭建分布式爬虫,进行大规模数据爬取
e.熟悉User-Agent控制访问、限制ip访问、使用js脚本反爬、等反爬技术的应对方法
f.熟悉HTTP、AJAX等各类网络请求分析,正则表达式、X-path、CssSelector、beautiful Soup等网
页解析技术。
g.熟悉使用appium还有其他专业工具爬取app信息
熟悉charles抓包工具的使用
数据库:
熟悉MySQL等关系数据库,熟悉SQL语句的编写与优化。
熟悉Redis、MongoDB非关系型数据库语言环境,了解数据存储的原理及使用
熟悉Elasticsearch, 搭建搜索引擎
其他语言:
熟悉HTML语言的基础语法。
了解Java的基础语法。
了解Golang语言的基础语法
Linux系统:
熟悉Linux,了解其常用命令行的使用。
其他:
熟悉操作Excel进行数据分析,掌握常用处理函数的使用技巧。使用vba进行宏编辑
爬取某红书笔记数据,为用户做数据分析。
爬取某宝商品数据,
爬取ig等国外app,为用户获取ig账号信息。
爬取国外app,熟悉国外app反爬特性。