基础语法:熟练掌握Python的基本语法、数据类型、控制结构、函数和模块等。
面向对象编程:理解面向对象编程的概念,能够设计并实现合理的类与对象。
异常处理:掌握Python的异常处理机制,能够编写健壮的代码。
并发编程:了解Python的并发编程技术,如多线程、多进程和异步编程等。
网络 编程:掌握Python的网络编程技术,能够编写网络通信程序。
数据处理:熟悉Python的数据处理库,如NumPy、Pandas等,能够高效地处理和分析数据。
机器学习:了解机器学习的基本原理和算法,掌握Python的机器学习库,如Scikit-learn、 TensorFlow 等。
Web开发:熟悉Python的Web开发框架,如Django、Flask等,能够开发高效的Web应用。
项目描述: 项目介绍: 对高通量测序数据进行数据分析时,需要对snp数据进行相关性筛选,为此需要构建基于mysql的基因突变数据库,对 HGMD网站相关基因突变信息进行爬取,爬取内容包括基因名,染色体坐标,突变信息,致病信息等。爬取结果存储于 mysql 。 我的职责: 1.采用asyncio+aioht t p以达成高并发,异步请求。 2.通过t imeout 设置超时重发机制,因为HGMD为国外网站,防止因为网络卡顿导致页面抓取不到产生数据不全的现象。 3.通过继承aioht t p.Client Session类来保存cookie对象,以应对基于cookie的反扒策略。 4.使用xpat h进行页面解析,解析出的数据通过PyMysql模块存储于mysql数据库中。
角色 | 职位 |
负责人 | 高级PHP研发工程师 |
队员 | 产品经理 |
队员 | UI设计师 |
队员 | iOS工程师 |
队员 | 安卓工程师 |
队员 | 前端工程师 |
队员 | 后端工程师 |