Parquet是一种基于列的格式。因此，与其他格式相比，快速读取选定列被声明为Parquet的主要优势。

我决定通过Spark（Java8）在本地比较parquet和avro文件的读取速度。

例如，模型：

public class Order implements Serializable {
    private int number;
    public String client;
    private String claim;
    // getters/setters
{

我生成具有1000000条记录的相同parquet和avro文件：Number是单值整数的递增序列，Client是一组20个随机重复值，Claim是一组单值。

镶木地板的阅读：

 public void readParquet(){
    Dataset<Row> parquetFileDF = spark.read().parquet("orders_parquet");
    parquetFileDF.createOrReplaceTempView("orders");
    long beginTime2 = System.nanoTime();
    spark.sql("SELECT id FROM orders");
    long endTime2 = System.nanoTime();
    System.out.println("parquet select " + (endTime2 - beginTime2));
 }

和阅读avro：

 public void readAvro(){     
    Dataset<Row> parquetFileDF = spark.read().format("avro").load("orders_avro");
    long beginTime2 = System.nanoTime();
    parquetFileDF.select("client");
    long endTime2 = System.nanoTime();
    System.out.println("avro select " + (endTime2 - beginTime2));
 }

作为第一次尝试的结果，Spark用于读取parque文件50109200非秒（50毫秒）和avro文件…12253000纳秒（12毫秒）中选定的“客户端”项目。下一次尝试显示相同的结果。

因此，avro文件的读取速度比parquet文件快4倍。它不对应于parquet格式在读取操作中的声明优势。

或者，我可能错过了一些重要的细节？