1.熟练掌握Java语言,Python语言爬虫
2.熟练掌握Linux系统
3.熟悉HTML/JavaScript/CSS/url/Ajax/JQuery等web基础知识
4.熟悉SSM框架以及SpringBoot常用框架的使用,熟练使用正则表达式
5.熟悉MySQL、MongoDB数据库
1..爬取淘宝商品信息并进行数据可视化分析:
开发环境:Python3、pycharm、MongoDB
所用技术:Requests、BeautifulSoup、pyquery、plotly、pyecharts
利用requests库向淘宝网页发送请求,并返回结果。通过BeautifulSoup和正则表达式精确提取返回结果中的有用数据信息并存入MongoDB数据库。数据分析部分提取数据库中的数据,再对数据进行清洗,利用plotly开源框架进行数据可视化展示,并得到一些有用的结论。