猿急送>

成都其它兼职程序员

ID：345526

雪色与月色之间

Python工程师

公司信息：
成都阿加犀智能科技有限公司

工作经验：
1年

兼职日薪：
500元/8小时

兼职时间：
下班后
周六
周日
可工作日远程

所在区域：
成都
高新

技术能力

网络爬虫技术：
掌握Python的爬虫库，如requests用于发送HTTP请求，BeautifulSoup或lxml用于解析HTML页面内容。
了解网页的结构和DOM树，以便从页面中提取所需信息。
掌握处理反爬虫机制的策略，如设置请求头、使用代理、处理cookie和session等。
对于动态加载的页面内容，可能需要使用Selenium或Pyppeteer等库来模拟浏览器行为。
数据处理能力：
清洗和整理从网页中提取的数据，确保数据的准确性和一致性。
使用Python的内置数据结构（如列表、字典）或pandas库来存储和操作数据。
Excel操作能力：
掌握pandas库将数据导出为Excel文件的功能，包括设置列名、格式化单元格等。
了解Excel文件的基本结构和内容，以便根据需要进行定制化的导出。
可配置性和模块化：
设计一个易于修改和扩展的爬虫框架，通过配置文件或命令行参数来设置目标网站、爬取内容等。
将不同功能的代码模块化，便于维护和复用。
异常处理和日志记录：
编写健壮的代码，能够处理网络请求失败、页面结构变化等异常情况。
使用Python的日志库记录关键信息和错误信息，便于调试和排查问题。

项目经验

项目经验：自动化爬取某财经网站财经信息并导入Excel

项目背景：

在本项目中，我负责收集和分析每日的财经信息。由于某财经网站是一个知名的财经网站，它提供了大量的实时财经数据和信息。为了提高工作效率，我开发了一个自动化爬虫程序，用于每日定时爬取某财经网站的财经信息，并将这些信息整理后导入到Excel文件中，以便后续的分析和报告。

项目目标：

自动化爬取某财经网站的财经信息，包括新闻标题、发布时间、内容概要等。
将爬取到的信息按照时间顺序整理，并导入到Excel文件中。
设计一个易于修改和扩展的爬虫框架，以便未来可以爬取其他财经网站的信息。
技术实现：

网络爬虫：
使用Python的requests库发送HTTP请求到某财经网站网站。
利用BeautifulSoup库解析返回的HTML页面，提取新闻标题、发布时间和内容概要等信息。
设计了一套处理反爬虫机制的策略，包括设置请求头、使用代理IP等，以确保爬虫的稳定运行。
数据处理：
将爬取到的数据清洗和整理后，存储到pandas的DataFrame中。
使用pandas的排序功能，按照发布时间对信息进行排序。
Excel操作：
利用pandas的to_excel函数，将DataFrame中的数据导出为Excel文件。
在Excel文件中设置列名、调整列宽、设置字体和颜色等样式，以便更好地展示数据。
可配置性和模块化：
设计了一个配置文件，用于设置目标网站、爬取内容、导出路径等参数。
将爬虫程序拆分为多个模块，包括网络请求模块、数据解析模块、数据处理模块和Excel导出模块，以便维护和复用。
异常处理和日志记录：
编写了异常处理代码，用于捕获和处理网络请求失败、页面结构变化等异常情况。
使用Python的logging库记录关键信息和错误信息，便于后续的调试和排查问题。
定时任务：
利用操作系统的定时任务功能（如Linux的cron或Windows的任务计划程序），设置每天定时运行爬虫程序，自动爬取并导出财经信息。
项目成果：

通过本项目的实施，我成功开发了一个稳定可靠的自动化爬虫程序，能够每日定时爬取某财经网站的财经信息，并将这些信息整理后导入到Excel文件中。这不仅提高了我的工作效率，也为团队提供了准确及时的财经数据支持。

案例展示

车道检测

* 使用提供的一组棋盘格图片计算相机校正矩阵(camera calibration matrix)和失真系数(distortion coefficients). * 校正图片 * 使用梯度阈值(gradient threshold)，颜色阈值(color threshold)
车牌识别

使用车牌定位算法训练车牌定位模型，再结合ocr识别算法完成车牌识别，检测准确度较高，速度较快。可部署在移动端。