- 创建一个AI智能体来追踪非结构化数据源(如微信公众号文章、小红书笔记等),并提取有用信息
- 已经用deepseek 做了一个解决方案,现在需要快速执行,生成一个可以在本地部署的应用
- 核心功能
数据采集:从微信公众号、小红书等平台抓取数据。
数据解析:提取非结构化数据中的有用信息。
数据存储:将提取的信息保存到文件或数据库。
数据展示:提供查询和可视化功能。
1.2 技术栈
编程语言:Python(适合AI和数据处理)
数据采集:爬虫工具(如Scrapy、Selenium)
自然语言处理(NLP):用于文本解析和信息提取
数据库:MySQL、MongoDB(存储结构化数据)
AI框架:Hugging Face Transformers、spaCy(用于NLP任务)
前端框架:React或Vue.js(可选,用于数据展示)