提问者:小点点

将kubeflow管道文件与git同步


我想在本地对我的python脚本进行更改,然后将其推送到git,然后在Google Cloud上运行Kubeflow管道。如何在云上运行文件之前从git中提取最新提交?


共1个答案

匿名用户

有很多方法可以做到这一点。想想如果没有Kubeflow管道,你会如何做到这一点。想象一下,你有一个调用python脚本的外壳脚本,你可以在云中运行它。你是如何执行同步的?

一些建议:

为确保可重复性,组件本身最好是不可变的。有多种方法可以实现这一点。例如,您可以在每个脚本版本中推送一个新的组件. yaml

然后是管道可重复性和组件版本控制的问题。理想情况下,管道应该严格链接到特定的组件版本(通过哈希摘要或提交哈希)。在这种情况下,将管道切换到新的组件版本意味着更新管道以将其指向新的组件版本。或者(更方便,但可重复性更低),您可以使用分支(可变)指向组件版本。这样,python管道将在每次编译时拉取新版本。(与可以表示管道的Graph组件相同)。但是请注意,编译的管道将是静态的,其中内联了组件,因此更新管道将需要重新编译。

所以:

  1. 推送更新的组件代码和更新的组件. yaml文件
  2. 将管道代码切换到新版本(或使用基于分支的引用)
  3. 提交管道执行。

相关问题