1. Python核心技术
2. Python性能优化:能够进行代码剖析(profiling)和性能调优,了解Python的性能瓶颈和优化技术。
3. 版本控制系统:Git,熟练使用分支、合并、pull request等工作流程。
4. 持续集成/持续部署(CI/CD):Jenkins,了解自动化测试和部署流程。
5. Web开发框架:熟练掌握Django、Flask等框架,能够开发复杂的Web应用。
6. 数据库:了解关系型数据库(PostgreSQL、MySQL)和NoSQL数据库(MongoDB、Redis)的设计和交互。
7. 前端技术:了解HTML、CSS和JavaScript,以及可能的前端框架Vue.js。
熟练使用正则表达式、XPath、JSONPath等来提取HTML/XML和JSON格式数据, 掌握requests、aiohttp等库进行HTTP请求, 熟练使用Scrapy等爬虫框架,以及框架下的中间件、管道、项目部署等高级功能, 对于JavaScript生成的动态网页内容,能够使用Selenium、Puppeteer或Playwright等工具进行处理, 熟悉关系型数据库(MySQL、PostgreSQL)和非关系型数据库(MongoDB、Redis)的使用,了解SQLAlchemy ORM框架的使用,使用Pandas等库进行数据分析和清洗。
精通Python爬虫技术, Python抓取过以下网站:
https://www.52shijing.com/category/277/index_11.html
http://www.qulishi.com/fengyun/
使用Python抓取户型图解析成三维户型图, 全程个人独立完成, 使用Selenium抓取, 数据库使用PostgreSQL
使用Selenium抓取户型图图片, 使用threejs把图片转成三维户型, 数据库使用PostgreSQL
使用Selenium抓取户型图图片, 使用threejs把图片转成三维户型, 数据库使用PostgreSQL