大数据平台搭建 项目简介:根据重庆移动的需求搭建大数据提数平台。支撑市移动内部员工快速提取需求的筛选数据。以及一个自动化建模的数据平台。 负责内容: 平台部分: 使用 Flask-RESTful,keras,tensorflow,scikit-learn,pyspark,redis,mysql,uwsgi,nginx 等技术构建平台。实现数据 上传,数据可视化,用户权限分离,用户登录 token 验证,数据筛选,账号加密,平台 sql 防注入,数据 etl,每 日数据存储过程数据记录,平台日志,用户使用记录,数据信息描述,数据相关性,数据 pca 处理数据分布,数据 ...
1、根据客户要求开发一个通过RPA机器人自动完成采集商城平台中的一些商家信息,然后根据相关要求整理数据并保存到Excel中或数据库中去。 2、根据客户要求开发一个通过RPA机器人自动完成模拟人工发送数据给商家信息,并更新相关结果。...
1. 电商平台商品数据采集与分析项目 项目背景: 客户是一家电商平台运营公司,希望通过采集竞争对手的商品信息(包括价格、库存、用户评价等),分析市场动态,优化自身产品策略。 技术实现: 使用Python语言,结合Scrapy框架搭建分布式爬虫系统,实现多线程并发采集。 针对电商平台的反爬机制,设计了动态代理IP池和模拟用户行为的Selenium模块,有效规避了封禁风险。 采集到的数据通过数据清洗模块,去除无效信息,提取关键字段,并存储到MySQL数据库中。 成果: 成功采集了超过100万条商品数据,覆盖多个竞争对手平台。 生成的市场分析报告帮助客户优化了产品定价策略,提升了市...