有7年的web开发经验,熟悉主流的框架(ssh、ssm)
数据库中对mysql使用较为熟悉,另外具有nosql数据的开发,例如MongoDB,redis,neo4j等
具有丰富的抓取经验,主要针对主流的电商网站(淘宝、京东、天猫等),使用java和python两种语言做过抓取项目
熟悉使用echart处理图表的展示
具有一定的架构设计能力,编写概要设计文档,制订接口等
对于easyui、bootstrap等一下前端框架也有一定了解
1 应收应付大数据平台
平台收录用户(个人或者企业)的应收和应付的数据,通过计算得出相应的数据模型,以此模型来解决多个用户之间应收应付的问题。
平台web框架选用ssm,前端使用bootstrap。
数据库使用mysql以及neo4j,mysql负责数据的存储及读取,neo4j负责计算。
后台图表显示基于echart处理。
2 电商网站抓取系统
此项目是针对主流电商的数据抓取,包括京东、淘宝、天猫,以及亚马逊、ebay等国外的电商网站。
按照品类抓取。抓取当前品类下的所有商品的信息,包括商品名、价格、ping评论等。
抓取前后分别用java和python两种语言进行。页面的解析主要通过xpath和正则的方式的处理。
java爬虫系统是可视化配置规则的,不同的网站只需要在可视化页面配置不同的规则即可快速进行爬取。