### python(爬虫,数据分析),
1. 掌握python获取过微博、B站、小红书、知乎等新媒体平台数据(用于研究),其它网站看难度也可以获取。
2. 掌握python数据分析,主要用于Python的pandas、numpy、sqlalchemy等进行数据的处理、写入mysql;结合爬虫掌握全数据分析流程体系。
### 数据分析
掌握从指标体系的建设、爬取、处理、分析、存储、可视化等。
### excel
通过vba实现可自动化处理透视表,自动化生成word,自动化Excel BI仪表盘图表等。
###其它技术:
mysql,html等附属技能都会。
### 爬虫:
- 微博全平台,通过达人主页链接获取达人数据,涉及字段如粉丝量、转评论赞、条数等字段及衍生字段。
- 小红书搜索结果数据,
- 知乎搜索结果数据,基本舆情分析(正负,内容及评论词云等)
- B站up主数据等。
### 数据分析
掌握从指标体系的建设、爬取、处理、分析、存储、可视化等,经验6年,基本新媒体都知道一些,可以详聊。
详细功能:抓取达人主页粉丝量、所有已发布微博、转评赞数据; 并据刊例匹配机构, 1、达到分析独家账号、竞品账号、市场趋势的结果。 2、机会发现,通过数据分析获悉市场风向热点、新生行业、历史回溯等。
Python爬虫:知乎, 1、通过搜索结果,通过接口监控信息流,获取文章、数据字段。 2、保存append的方式到本地表格/文本。 3、对结果进行分析。