提问者:小点点

我们能参数化气流schedule_interval从变量中动态读取而不是作为cron表达式传递吗


我们是否可以从气流变量中动态读取气流计划间隔,而不是直接作为cron表达式传递

我通过以下方式按照气流留档args={'所有者':'帕潘','depends_on_past':假,'start_date':日期时间(2020, 1, 15),'email_on_failure':真,'email_on_retry':假,'重试': 0,'on_failure_callback':notify_email}

与DAG(dag_id=DAG_NAME,default_args=args,schedule_interval='*1 * * *', 追赶=假)为dag:


共1个答案

匿名用户

从技术上讲,你可以做到,但它带来了两个问题

>

  • 小问题:读取变量意味着向Airflow的SQLAlchemy后端元数据库触发SQL查询。在DAG定义脚本中执行此操作意味着,当背景中的气流不断解析DAG时,将发生这种情况。阅读这里的第2点

    主要问题:可以通过UI编辑变量。但是,改变气流DAG的计划间隔可能会有wierd行为,可能需要您重命名DAG或(轶事发现)重新启动计划程序,以解决该问题