职位发布者
职位描述
工作时间:10:00-20:00(月休6天,结果导向)
一、核心职责
1、实时流处理系统
• 基于 Flink 设计高吞吐、低延迟的流处理架构(支持每秒百万级数据处理)
• 优化 Flink 作业调度与状态管理,提升集群资源利用率30%+
2、OLAP 架构设计
• 主导 Doris 集群部署与查询优化(响应速度<500ms)
• 设计物化视图与分区策略,支撑实时BI与可视化需求
3、数据全链路治理
• 搭建端到端管道(Kafka→Flink→Doris),确保数据一致性(99.99% SLA)
• 制定开发规范,输出《大数据平台技术白皮书》
4、前沿技术落地
• 评估云原生方案(如AWS EMR),降低20%+运维成本
硬性要求
技术能力
▸ 流处理专家:
• 精通Flink(Checkpoint调优、反压处理、Exactly-Once语义)
• 设计过日均TB级实时处理系统
▸ OLAP大师:
• 深度掌握Doris/ClickHouse(MPP优化、Colocation策略)
• 有查询性能优化案例(TPC-H基准测试经验加分)
▸ 全栈能力:
• 熟练Java/Scala开发(需提交GitHub代码片段)
• 精通K8s部署大数据组(Zookeeper/Prometheus集成)
基础要求
• 本科+计算机相关专业
• 5年+大数据架构经验(需提供架构图或技术方案文档)
加分项
• 有金融/电商领域千亿级数据处理经验
• 持有AWS/Azure大数据认证
• 发表过技术博客或开源项目(附链接)
应聘方式
▸材料准备:
• 技术方案文档(PDF格式)
• 性能优化案例(含对比数据)
特别申明:
- TG招聘严禁企业和招聘者用户做出任何损害求职者合法权益的违法违规行为,包括但不限于扣押求职者证件、收取求职者财物、向求职者集资、让求职者入股、诱导求职者异地入职、异地参加培训、违法违规使用求职者简历等。 若发布的职位存在违法等恶意内容的情况, 请立即举报
工作地址
马来西亚-其他市