1,python爬虫(scrapy框架,json,re去掉多余的字符串,xpath 提取数据)获 取基本工作信息,由于获取详情页的工作要求有js加密,有采用了selenium模拟浏览器爬取 (BeautifulSoup提取数据)数据获取并储存到MySQL数据库。 2,ps美工,负责前端可视化页面布局设计。 3,辅助java清洗数据。
: 个人职责:负责数据的挖掘持久化存储(python的scrapy框架,json,xpath提取网页数 据,MySQL数据库保存数据等等)。 ps美工画出前端可视化图框架,交给前端进布局。 参与数据分析和清洗(部分,其他数据分析基本运用java分析)