精通爬虫;爬取大众点评、美团、东方财富网、彩票等数据。
大数据分析 熟悉 numpy , pandas 框架。
具备扎实的python基础及面向对象编程思想,5年以上python开发经验。
熟悉常见数据库(如oracle、MySQL),具备优化sql,表结构设计,熟悉索引等MySQL理论知识。
项目名称:基于python打造经纬度距离计算小工具
成果简介:该成果主要通过python语言,调用基站经纬度信息,借用任意2点间的经纬度转换距离的计算公式,批量快速定位基站周边信息。
成果实现功能1:批量实现地球上任意两点间的距离计算
成果实现功能2:全网站点中找出指定站点的周边范围内的站点。
成果实现功能3:全网站点中找出距离指定的站点最近的站点。
成果实用性:网络保障实际工作中经常需要批量对汽车站,高铁站、酒店等人流量集中站点等重要保障位置周边站点进行排查统计。
案例:统计全省汽车站,高铁站重点区域以及周边2公里内站点,该成果之前,需要重复在Mapinfo地图中画圈画点,找出相应的周边站点,该成果可批量实现。
爬虫:爬取大众点评某个城市某类美食的所有商家相关的有市场价值的重要信息,包括:城市、分类、商圈、店名、链接、评价数量、人均消费、星级评分、口味评分、环境评分、服务评分地址等等相关信息,并导出结果。 主要爬虫思路: 1、确认提取的数据来源及方式:先确定数据是哪里提取,通过什么方
爬虫:爬取所有股票的相关信息,主要包括:最新价,涨跌幅、涨跌额、成交量(手)、成交额、振幅、最高、最低、今开,昨开,量比等信息。 pd_data = { '代码': [str(dict_shares['f12'])], '名称': [dict