我想在Cloud Composer环境底层的kubernetes集群中设置区域集群。我在2018年10月的这个问题中看到,该功能作为Composer的一部分不可用。
具有区域kubernetes集群的Google Cloud Composer
然而,该文档似乎暗示有一种方法可以在不同区域之间设置环境:“对于简单的用例,您可以在一个区域中创建一个环境。对于复杂的用例,您可以在单个区域或跨多个区域创建多个环境。
我想知道是否有这种类型的设置的示例,或者留档的措辞是否指的是多个单独的作曲家环境,如果是这样,您将如何使用调度程序来避免在多个作曲家部署中运行相同的作业。
https://cloud . Google . com/composer/docs/concepts/overview #环境
我不能评论Cloud Composer的细节,但我认为如果你了解GKE区域集群,它会帮助你理解。
默认情况下,GKE使用“区域”集群,其中每个节点池(以及因此的节点)都属于一个区域(如us-Central al1-a
)。
在“区域”集群中,您仍然只有一个集群。但是,您创建的每个GKE节点池都会复制到该区域中的3个分区(例如< code>us-central1-a 、< code>-b和< code>-c)。
因此,当您创建一个具有2个节点的“区域”集群时,您将在集群中获得6个节点。这些节点将从分布在同一区域不同区域的3个不同节点池创建。
如果Cloud Composer在GKE集群上运行,通过拥有“区域”集群,它仍然会将整个事情视为单个集群,我猜你最终不会多次运行相同的作业。