我读过这篇媒体文章,这是搜索自动缩放和云编辑器时最受欢迎的文章之一。它展示了一些“黑客”,您可以使用这些黑客来自动缩放Composer,同时它仍然配置为使用CeleryExecator
。
我还阅读了关于将KubernetesPodOperator(KPO)
与Cloud Composer一起使用的GCP文档,并且之前已经实现了。
但是,使用KPO
意味着您无法使用所有其他Airflow运算符-您每次都必须编写自己的容器和代码。
KubernetesExecator
似乎是最好的方法-您可以使用Airflow运算符,并且可以启用自动缩放,因为它将为每个任务实例创建一个新的库伯内特斯Pod。
Google Cloud Composer目前在CeleryExecator
上运行,在它当前声明的阻塞气流配置中
Cloud Composer将Airflow配置为将Celery执行器用于核心执行器
设置。
KubernetesExecator
会成为Composer的一个选项吗?
不幸的是,您的问题还无法回答,因为没有这样做的官方计划。也就是说,如果Cloud Composer产品团队至少没有考虑这一点,我会感到惊讶。
但是一旦有关于它的消息,它应该在这个功能请求中发布。
我推荐这个气流执行器解释的概述,用于CeleryExecator和KubernetesExecator的功能比较。正如您已经在提供的链接中研究过的那样,CeleryExecator确实为Composer环境提供了可扩展性。将KubernetesExecator作为一个选项会很好,但不是必需的,因为额外的好处不会超过缺点。