1.精于网络爬虫,目前有维护爬取全国房价的项目,爬取大宗商品价格等等。涉及网站诸如政府网站,阿里系网站,海外电商网站。
2.有数据可视化的项目经验。
3熟悉mysql.sqlserver.等数据库的性能调优。
项目一:该软件采用python语言。
软件使用的模块,工具包括:
a.利用pandas、statsmodels进行数据处理。
b.利用matplotlib进行数据可视化。
c.数学工具:线性回归、ashrea标准推荐的数学模型。
d.C#读取测量仪器串口设备的数据到数据库
软件功能:
a.对机房运行数据进行分析,分析运行存在的问题,节能分析。
b.存储必要数据,为以后建立基于机器学习的系统模型做准备,根据模型,提出更优运行策略,同时也用于预测、侦查系统异常。参考jim gao的Machine Learning Applications for Data Center Optimization。
c.采用django框架建立展示数据的web(其中图表用echart),并能一键生成运行报告。
项目二:爬虫类的包括房价和大宗商品类的信息爬取
项目三:我们团队精通于 python ,外包过项目包括:
1、租租车网上门票商城。
项目用于线上售卖国内外景点门票为主,数据庞大,并发和缓存。编写后台管理系统主要功能,APP端接口以及微信端的推广活动,红包活动等功能。
2、打单系统。
项目主要用于同步淘宝、1688、拼多多订单。便于商家获取快递面单,发货,打印快递面单等一系列的仓储操作。数据庞大,在SQL优化和数据结构设计缓存方面有一点的要求。
3、我的校园,外卖系统。
一个微信公众号,项目主要用于学校饭堂外卖和堂食,分学校,分校区,分饭堂进行对学生在线上下单进行统一处理,系统还有快递代拿,二手买卖以及外卖优送等功能。涉及地图、定位等一系列功能。
4、淘宝客分销系统。
对淘宝客进行二级分销,淘宝联盟发放佣金,系统针对用户的级别进行分发佣金。类似花生日记类的APP开发已经后台管理
爬取各类网站的数据,然后对数据的清洗,再然后就行入库处理。然后再通过powerbi对数据做可视化处理,给到销售部来做决策。
对京东,亚马逊,shopee,lazada电商网站数据进行爬取,然后清洗数据,存在数据库,再通过powerbi对数据进行可视化,以供销售使用决策。