熟练使用Python语言编程,掌握主流库的应用。
熟练使用Django框架进行后端开发。
熟练使用MySQL、Sqlite数据库,了解Oracle,MongoDB。
掌握基本Web前端技能,熟悉bootstrap框架。
掌握Linux的基本操作与常用命令。
熟悉requests工具,了解Scrapy框架及常见的反爬虫机制。
熟练使用re、xpath等前端页面信息提取技术。
本系统为实习公司内部使用项目,通过爬取天眼查、企查查、IT桔子、36氪、微信公众号等获取各企业融资信息、创始人/法人信息、企业新闻动态等。并通过Django进行入库和展示,部署在公司服务器上,供其他部门同事搜索企业信息使用。
根据项目经理描述的需求进行功能分析,技术栈选取;
根据项目需求设计数据库,并在Django框架中设计表;
使用layUI前端框架进行页面布局设计;
使用form表单和Ajax完成前后端交互;
使用Django的orm技术对Sqlite数据库进行CURD操作;
使用requests模块对各数据源进行爬取入库并展示在前端页面。