python数据分析,数据可视化,爬虫,正则表达式式文本处理,自动化处理excel,csv,word
os,request,bs4,matplootlib,numpy,pandas。
数据库:mysql,mongoDB
1.航空公司安保一体化项目
每日旅客数据起飞前上传到深圳公安内网,对旅客安全登记进行标记后取回,分发到空保人员手机
2.点筹网爬虫
爬取所有农产品数据,定价,图片等详细信息
3.报文系统中报文数据解析插库
解析民航数据报文,使用正则表达式提取需要的字段信息存库。
4.电信大数据处理提取生成报表
1.点筹网,淘宝网众筹项目爬取 2.进入首页使用selenium browser.find_element_by_class_name('next').click()点击分页中的下一页一直保存url 3.对爬取储存的的项目url信息整理写入excel,使用了ocr文字识别
1.使用python语言对中航信总部定期发往公司服务器上的报文进行数据解析并完成插库,最后将公安厅需要的都数据上传到公安厅的服务器指定文件夹中。 2.通过一星期时间,实现解析出第一个报文,并完成sql建表语句的自动化生成(字段太多,通过中航信总部的文档说明,自动生成对应的建表s