数据清洗与处理:
1. 使用Python编程语言,利用Pandas和NumPy库进行数据清洗、转换和整合。
2. 清理数据中的异常值、缺失值,并进行数据格式的标准化。
数据建模与预测:
1. 应用机器学习技术,包括Scikit-learn和TensorFlow,构建和优化各种模型。
2. 实施数据预测、分类和聚类任务,以提供业务洞察和决策支持。
爬虫技能:
1. 使用Python的Beautiful Soup和Scrapy库,从互联网上抓取大规模数据集。
2. 自动化数据采集流程,确保及时获取所需数据。
API接口调用与自动化数据采集:
1. 使用Python的requests库等工具,通过API接口获取数据,并进行解析。
2. 与外部数据源(如社交媒体平台、金融数据提供商等)进行交互,获取实时数据,并提取所需信息。
3. 设计定时任务或事件触发机制,实现数据自动更新和同步,确保数据的及时性和准确性。
4. 将API数据与本地数据集结合,进行综合分析和建模,为业务决策提供更全面的信息支持。
SQL数据库能力:
1. 熟练编写SQL查询语句,管理和提取数据。
2. 在关系型数据库中执行复杂数据操作和分析。
数据可视化能力:
1. 利用Power BI等工具,将数据转化为直观、易懂的可视化图表和报告。
2. 帮助业务人员快速理解数据趋势和洞察,支持决策制定。
自动化能力(RPA):
1. 使用RPA工具,例如Power Automate,自动化数据处理和报告生成流程。
2. 提高工作效率,减少重复性工作,降低错误率。
B站监控及自动化项目:
1. 每日自动存档UP主运营数据(新增粉丝数、互动量等数据)
2. 每日追踪UP主发布的动态并自动发送邮件给团队成员(包括标注重要程度)
3. 自动获取视频评论、采集评论内容并自动定位到对应评论,一旦有提及关键词立即进行回复
4. 其他数据分析,包括生成Power BI可视化报表、词云、大事件等
爬取企查查工商数据:
根据项目需要,批量爬取企查查上目标行业或公司的具体工商数据,包括基本的工商信息、股东信息、主要人员、对外投资、控制企业等。
爬取猎聘网招聘信息:
根据项目需要,批量爬取猎聘网上符合条件的职位或公司的招聘数据,包括具体的职位详情、公司相关信息。后续处理后发给团队成员跟进机会。
销售成单预测:
基于业务历史5年的销售数据,进行数据清洗和处理、数据建模和模型优化,预测下个月内close as won的机会有多少、能带来多少的order,预测准确率达85%。
Key Account关系图谱:
使用图像式数据库Neo4j对某大客户的组织架构、人员关系、交易情况搭建关系图谱,帮助销售团队更清楚地认知该重要客户的架构以及我们现在所处的阶段、未来还需要挖掘哪些信息。
1. 获取各个social media上的统计数据,在dashboard一页上直观明了地看到近7天、近30天、近90天的包括粉丝数、互动量等数据。 2. 对B站电子区KOL的数据和动态进行追踪,并自动发送邮件给到团队成员,帮助发现具有潜力的KOL以便后续进行合作,通过了解KOL
从网上爬取IC Design公司融资新闻(包括融资轮数、金额等),再批量从企查查中获取对应公司的工商数据,以及特定岗位的招聘信息,供销售跟进机会。