InfoQ中国 on MSN

作业帮 Flink on K8s 落地实践

作者 | 作业帮大数据团队(刘泽强、孙建业) 历史背景 作业帮实时计算主要基于 Flink 构建,共有 3000 多个任务,均采用 Per-Job 模式部署在 Yarn 集群,因 sla 要求差异不同部门间集群独立。历史 on Yarn 模式主要面对问题如下: 资源隔离粒度粗。Yarn 集群本质通过内存隔离,因业务线差异,流量类 Flink ...