数据采集架构师(金融数据方向)


一、岗位职责

1、负责金融领域公开数据的采集、更新工作,覆盖A股/港股/美股等核心金融数据源,搭建稳定、高效的数据采集体系。

2、独立应对各类金融网站、财经平台、交易所官网的访问机制,熟练处理动态渲染、接口加密、签名校验、验证码、IP封禁、频率限制等各类采集难题,保障数据采集的稳定性、实时性和完整性。

3、负责采集数据的清洗、去重、结构化标准化、纠错补全工作,针对金融文本、数值、时间、公告内容进行专项预处理,统一数据格式,剔除脏数据、无效数据,输出高质量、可直接用于分析、建模、展示的结构化金融数据。

4、负责爬虫项目的工程化迭代与维护,搭建分布式爬虫、增量爬虫任务体系,优化爬虫调度策略、代理池策略,解决数据延迟、漏爬、重复爬取等问题,保障7*24小时稳定数据更新。

5、配合数据产品、数据分析、算法团队,对接数据需求,输出标准化数据接口和数据文档,支撑金融数据终端、量化分析、舆情监控、行业研究等业务场景。

二、任职要求

1、硬性基础能力

本科及以上学历,计算机、数据、软件工程、金融工程等相关专业,1~3年专业爬虫开发、数据采集清洗实战经验,有金融数据采集从业经验者优先。

2、核心技术栈要求

熟练掌握Python爬虫技术,精通Requests、BeautifulSoup、XPath、正则解析;熟练使用Playwright、Selenium等动态爬虫框架,精通JS逆向、接口抓包、参数解密、签名破解。

熟练掌握分布式爬虫开发、任务调度、并发优化,熟悉代理池搭建与维护,具备高并发、大规模数据采集落地经验。

精通金融数据专项清洗处理,熟练使用Pandas、Numpy进行数据规整、去重、缺失值修复、文本清洗、格式统一,具备结构化、半结构化金融数据处理经验。

熟悉MySQL、Redis等数据库,掌握数据入库、增量更新、数据索引优化等技能。

3、行业专项能力(核心加分项)

有财经新闻、股票公告、研报、宏观经济、交易所数据、基金债券数据采集清洗实战经验者优先;熟悉金融数据字段、金融业务逻辑者优先。

具备复杂JS逆向、接口加密破解、动态网页防爬对抗实战经验,能够独立解决各类采集疑难问题。

熟悉爬虫工程化、自动化运维、监控告警机制搭建者优先。

4、综合素质要求

具备极强的问题排查能力、逻辑思维能力,对数据敏感度高,严谨细致,能够保障金融数据精准度;了解网络安全及数据采集合规规则,具备合规采集意识;责任心强,能稳定迭代维护爬虫项目。

三、优先录用条件

1、有金融数据公司、量化投研、财经媒体、金融终端平台爬虫开发经验;

2、独立搭建过完整金融数据采集、清洗、入库、更新闭环体系;

3、熟悉各类主流财经平台结构及反爬规则;

4、有大规模分布式爬虫、数据ETL流水线落地经验。

四、薪资福利

1、基础薪资:15~20k,14月薪资,另加年终绩效奖金;
2、期权分配:具备竞争力的期权分配方案;
3、完善保障:顶额五险一金、带薪年假、节日福利、定期体检、月度团建;
4、成长体系:垂直技术深耕通道,专注金融数据+AI领域,定期技术分享、AI赋能培训;
5、轻松氛围:纯技术导向团队,无冗余加班,专注技术落地,团队年轻化、氛围简单纯粹。

五、岗位亮点

1、 深耕金融数据垂直赛道,业务稳定、需求长期可持续;
2、核心技术岗位,直接支撑公司核心数据产品;
3、参与新一代金融数据体系规划和建设;
4、技术落地性强,不做无效开发,个人成果可直接赋能业务变现。

六、工作地点

北京市通州区复地金融中心

联系方式

邮箱: hr@vofar.com
微信: waditu_a (备注:应聘数据)

置顶