我有一个使用boto3（1.4.4）、py箭头（0.4.1）和熊猫（0.20.3）来实现这一点的简单方法。
首先，我可以在本地读取单个拼花文件，如下所示：
import pyarrow.parquet as pq
path = 'parquet/part-r-00000-1e638be4-e31f-498a-a359-47d017a0059c.gz.parquet'
table = pq.read_table(path)
df = table.to_pandas()
我还可以像这样在本地读取拼花文件目录：
import pyarrow.parquet as pq
dataset = pq.ParquetDataset('parquet/')
table = dataset.read()
df = table.to_pandas()
两者都像魅力一样工作。现在我想使用存储在S3存储桶中的文件远程实现相同的目标。我希望这样的东西可以工作：
dataset = pq.ParquetDataset('s3n://dsn/to/my/bucket')
但它没有：
OSError：传递的非文件路径：s3n：//dsn/to/my/bucket
在彻底阅读了pyarrow的留档后，这似乎是不可能的。所以我想出了以下解决方案：
从S3读取单个文件并获取熊猫数据帧：
import io
import boto3
import pyarrow.parquet as pq
buffer = io.BytesIO()
s3 = boto3.resource('s3')
s3_object = s3.Object('bucket-name', 'key/to/parquet/file.gz.parquet')
s3_object.download_fileobj(buffer)
table = pq.read_table(buffer)
df = table.to_pandas()
这是我从S3文件夹路径创建熊猫数据帧的hacky、不那么优化的解决方案：
import io
import boto3
import pandas as pd
import pyarrow.parquet as pq
bucket_name = 'bucket-name'
def download_s3_parquet_file(s3, bucket, key):
buffer = io.BytesIO()
s3.Object(bucket, key).download_fileobj(buffer)
return buffer
client = boto3.client('s3')
s3 = boto3.resource('s3')
objects_dict = client.list_objects_v2(Bucket=bucket_name, Prefix='my/folder/prefix')
s3_keys = [item['Key'] for item in objects_dict['Contents'] if item['Key'].endswith('.parquet')]
buffers = [download_s3_parquet_file(s3, bucket_name, key) for key in s3_keys]
dfs = [pq.read_table(buffer).to_pandas() for buffer in buffers]
df = pd.concat(dfs, ignore_index=True)
有没有更好的方法来实现这一点？也许是熊猫使用pyarrow的某种连接器？我想避免使用pyspark，但如果没有其他解决方案，那么我会采取它。
您应该使用yjk21提出的s3fs模块。然而，调用ParquetDataset的结果是您将获得pyarrow. parquet.ParquetDataset对象。要获得Pandas DataFrame，您宁愿应用。read_pandas（）。to_pandas（）。
import pyarrow.parquet as pq
import s3fs
s3 = s3fs.S3FileSystem()
pandas_dataframe = pq.ParquetDataset('s3://your-bucket/', filesystem=s3).read_pandas().to_pandas()
谢谢！你的问题实际上告诉了我很多。这就是我现在使用熊猫（0.21.1）和boto3（1.3.1）的方法。
import boto3
import io
import pandas as pd
# Read single parquet file from S3
def pd_read_s3_parquet(key, bucket, s3_client=None, **args):
if s3_client is None:
s3_client = boto3.client('s3')
obj = s3_client.get_object(Bucket=bucket, Key=key)
return pd.read_parquet(io.BytesIO(obj['Body'].read()), **args)
# Read multiple parquets from a folder on S3 generated by spark
def pd_read_s3_multiple_parquets(filepath, bucket, s3=None,
s3_client=None, verbose=False, **args):
if not filepath.endswith('/'):
filepath = filepath + '/' # Add '/' to the end
if s3_client is None:
s3_client = boto3.client('s3')
if s3 is None:
s3 = boto3.resource('s3')
s3_keys = [item.key for item in s3.Bucket(bucket).objects.filter(Prefix=filepath)
if item.key.endswith('.parquet')]
if not s3_keys:
print('No parquet found in', bucket, filepath)
elif verbose:
print('Load parquets:')
for p in s3_keys:
print(p)
dfs = [pd_read_s3_parquet(key, bucket=bucket, s3_client=s3_client, **args)
for key in s3_keys]
return pd.concat(dfs, ignore_index=True)
然后，您可以通过以下方式从S3读取文件夹下的多个Parquet
df = pd_read_s3_multiple_parquets('path/to/folder', 'my_bucket')
（我想可以大大简化这段代码。）
它也可以使用boto3完成，而无需使用pyarrow
import boto3
import io
import pandas as pd
# Read the parquet file
buffer = io.BytesIO()
s3 = boto3.resource('s3')
object = s3.Object('bucket_name','key')
object.download_fileobj(buffer)
df = pd.read_parquet(buffer)
print(df.head())
