四年工作经历
精通编程语言:Python,JavaScript,C++
特殊技能:网络爬虫技术(Web Crawling), 自然语言分析( Natural Language Processing)
项目经验:
1.利用Scrapy模拟登陆淘宝,爬取淘宝商品信息,利用定制head和随机IP应对反爬虫机制,同时用 Pandas 库对数据进行整理,对数据进行定制处理,如逆透视,标准化分析,分类等,输出至 Excel。
2.根据客户要求,对拉丁语系文本进行分析与测试,基于机器学习,统计机器学习,利用Pandas,NLTK,Scikit-learn(sklearn)等第三方库进行文本分析。自然语言处理(NLP),达到语言处理任务的实现。综合运用各种算法,进行算法选择与优化,决策树,if-then,统计模型等。
3.定时爬取东方财富网股票数据,利用定制head和随机IP应对反爬虫机制,同时用 Pandas 库对数据进行整理,再输出至数据库 MongoDB 。
4.利用Scrapy定时爬取链家某市房源数据,利用定制head和随机IP应对反爬虫机制,同时用 Pandas 库对数据进行整理,同时根据关键词分类整理 。
项目经验:
1.利用Scrapy模拟登陆淘宝,爬取淘宝商品信息,利用定制head和随机IP应对反爬虫机制,同时用 Pandas 库对数据进行整理,对数据进行定制处理,如逆透视,标准化分析,分类等,输出至 Excel。
2.根据客户要求,对拉丁语系文本进行分析与测试,基于机器学习,统计机器学习,利用Pandas,NLTK,Scikit-learn(sklearn)等第三方库进行文本分析。自然语言处理(NLP),达到语言处理任务的实现。综合运用各种算法,进行算法选择与优化,决策树,if-then,统计模型等。
3.定时爬取东方财富网股票数据,利用定制head和随机IP应对反爬虫机制,同时用 Pandas 库对数据进行整理,再输出至数据库 MongoDB 。
4.利用Scrapy定时爬取链家某市房源数据,利用定制head和随机IP应对反爬虫机制,同时用 Pandas 库对数据进行整理,同时根据关键词分类整理 。
利用Scrapy爬取链家某市房源数据,利用定制head和随机IP应对反爬虫机制,同时用 Pandas 库对数据进行整理,同时根据关键词分类整理,同时对数据进行定制处理,如逆透视,标准化分析,分类 等。
利用Scrapy模拟登陆淘宝,爬取淘宝商品信息,利用定制head和随机IP应对反爬虫机制,同时用 Pandas 库对数据进行整理,再对数据进行定制处理,如逆透视,标准化分析,分类 等,输出成 Excel格式 。
根据客户要求,利用自然语言处理(NLP),对拉丁语系文本进行分析与测试,利用Pandas,NLTK,Scikit-learn(sklearn)等第三方库进行文本分析。基于机器学习,统计机器学习,综合运用各种算法,进行算法选择与优化,决策树,if-then,统计模型等,达到语言处理
实时爬取东方财富网股票数据,利用定制head和随机IP应对反爬虫机制,同时用 Pandas 库对数据进行整理,再输出至数据库 MongoDB 。