我从外壳脚本调用Snow sql客户端。我导入属性文件做源。并调用Snow sql客户端。我怎么能在Python中做同样的事情?任何帮助将高度赞赏。
调用snowsql客户端的Shell脚本:
source /opt/data/airflow/config/cyrus_de/snowflake_config.txt
sudo /home/user/snowsql -c $connection --config=/home/user/.snowsql/config -w $warehouse --variable database_name=$dbname --variable stage=$stagename --variable env=$env -o exit_on_error=true -o variable_substitution=True -q /data/snowsql/queries.sql
假设您切换到使用Python纯粹是为了改进控制流,并且仍然希望继续使用shell功能,那么直接的转换将需要编写一个函数作为导入环境变量的源命令,然后在与shell一起执行的子流程调用中使用它们以允许环境变量替换:
import os, shlex, subprocess
def source_file_into_env():
command = shlex.split("env -i bash -c 'source /opt/data/airflow/config/cyrus_de/snowflake_config.txt && env'")
proc = subprocess.Popen(command, stdout = subprocess.PIPE)
for line in proc.stdout:
(key, _, value) = line.partition("=")
os.environ[key] = value
proc.communicate()
def run():
source_file_into_env()
subprocess.run("""sudo /home/user/snowsql \
-c $connection \
--config=/home/user/.snowsql/config \
-w $warehouse \
--variable database_name=$dbname \
--variable stage=$stagename \
--variable env=$env \
-o exit_on_error=true \
-o variable_substitution=True \
-q /data/snowsql/queries.sql""", \
shell=True, \
env=os.environ)
if __name__ == '__main__':
run()
如果您希望在没有任何shell调用的情况下使用纯Python,那么可以使用Snowflake提供的更本机的连接器来代替Snow sql
。这将是一个更具侵入性的变化,但是连接示例将帮助您开始。