案例展示

• 

  weibo全网爬取

  基于scrapy框架编写weibo爬虫，自建ADSL拨号代理池，优化cookies方式，账号免登陆，解决weibo反爬机制。 爬取思路是以特定几个用户为起点，遍历所有关注列表及粉丝列表，递归爬取，实现全网爬取。

• 

  python数据分析

  基于weibo爬取的内容，提炼当前最热门的新闻话题及分类。 数据分析库pandas导入mongo DB数据 ，清洗数据，提取有效内容，jieba分词，机器学习库sklearn将文本词汇转换为词频矩阵，最后通过余弦相似性将文本归类，提炼出同主题热门文章。

• 

  嵌入式linux智能面板

  楼宇嵌入式Linux智能面板，与网关配合用于控制楼宇门襟，空调，灯光等设备，实现人机交互。 基于嵌入式linux系统开发，负责底层外设驱动C程序编写，C++开发GUI图形库及业务逻辑程序和通信程序，自定义通讯协议。