我一直在Azure Blob上测试拼花文件，而不是将数据加载到PostgreSQL表中，因为我使用熊猫执行了很多提取/转换步骤，并且可能很快就会探索Spark。

1. 是否有任何优点或缺点使用pyarrow打开csv文件而不是pd.read_csv？
2. 我应该使用pyarrow来编写parque文件而不是pd.to_parquet吗？

最终，我存储的是原始文件（csv、json和xlsx）。我用熊猫或pyarrow读取这些文件，添加一些元数据列，然后保存一个细化/转换的拼花文件（Spark风格，快速压缩）。然后，我用pyarrow读取这些转换后的文件（最终可能是Spark），并执行一些聚合或其他可视化的东西（我可能会将其保存为另一个拼花文件）。

在将数据转换为熊猫数据帧之前，我是通过使用pyarrow读取数据来使用更多内存，还是在将数据保存为. parque文件之前使用pyarrow转换数据？我只是想确保我是高效的，因为我正在设置一个Airflow运算符，它将遵循这些步骤处理大量文件/数据。