K8S下海量数据治理的大规模任务调度框架设计与实践
分论坛: 工程创新
专题:微服务架构的工程实践
分享时间:2021-11-20 10:00-11:00
内容简介:
大量异构任务场景下,如何完成任务的资源分配,实现资源的有效利用是一个非常大的挑战。阿里云SLS提供了一站式的数据处理服务,从而可以便捷的构建出企业级的数据中台。
本次分享首先会详细介绍PB级别数据治理的大规模任务调度的K8S方案挑战与技术难点,日志服务任务调度的场景以及方案,并深入介绍K8S上任务调度系统内部实现原理与最佳实践。
演讲提纲:
1.日志服务任务调度系统场景、方案综述
2.K8S下大规模任务调度系统的的原理、架构、核心技术难点
3.最佳实践
4.未来展望