大数据开发工程师
职位描述
岗位职责:
1. 数据平台建设:
1)规划建立公司数据生态平台,实现数据连接、数据存储、数据可视化、数据安全、数据质量等相关的技术支持平台;
2)负责制定公司数据治理相关的工作,包括制度、规范及流程的完善。
2. 业务类应用研发:
1)负责公司市场、产品、投研、管理等相关数据集市应用的建设工作;
2)负责涉及项目的软件研发、测试工作,组织代码review及优化,制定数据研发相关指南等等。
3. 团队协作:
1)提升部门团队整体的数据研发能力,培养大数据人才。
4. 其它日常工作:
1)完成项目、框架等关键文档的编写及维护工作;
2)完成所研发系统的生产缺陷修复;
3)完成上级领导分配的工作任务。
任职要求:
1、全日制本科及以上学历,计算机、信息技术或软件工程专业;
2、3年以上数据开发工作经验,具备证券基金行业IT开发经验优先考虑;
3、丰富的数据研发经验,对数据连接、调度、监控方面有实战经验;
4、能够熟练使用各种调试、跟踪等分析、开发工具,具备独立解决问题的能力;
5、熟悉大数据领域的相关技术,如Airflow、Hadoop、YARN、HDFS、Spark、Flink等等;
6、有较强的逻辑分析能力和项目管理能力,善于发现数据之间的勾稽及逻辑关系,并能够应用于提升业务数据质量;
7、了解docker、k8s等方面的知识优先。