提问者:小点点

使用带有气流的s3_到_雪花操作符,我们需要一个内部舞台吗?


我正在将一些ETL迁移到气流中,并计划使用S3到雪花操作符复制到雪花中:https://airflow.apache.org/docs/apache-airflow-providers-snowflake/stable/_api/airflow/providers/snowflake/transfers/s3_to_snowflake/index.html

目前我们做的标准,将文件放入雪花内部暂存,然后复制到我们的目标表中的文件,但是如果我将其迁移到S3,然后在DAG中使用此运算符复制到目标表中,是否有任何理由使用内部暂存表?最佳实践的理由,或任何其他?


共1个答案

匿名用户

根据雪花留档,S3充当外部舞台,并使用副本从那里进入雪花表。但是如果你的商业案例需要多一层的分期,那就倾向于它,否则你可以跟着留档。为我们提供一层外部分期。

https://docs.snowflake.com/en/user-guide/data-load-s3-copy.html