Есть 3 основный типа файла для big data:
💃AVRO
💃PARQUET
💃ORC

Я обычно сразу использую parquet и даже не заморачиваюсь. Но вы можете посмотреть, в чем разница https://blog.clairvoyantsoft.com/big-data-file-formats-3fb659903271