请说明Apache Kafka在存储层面的设计方案，包括日志文件采用的具体存储格式，以及该设计如何保障存储性能与效率。

回答思路

1. 【回答框架 1】Kafka的存储设计基于分区日志，每个分区对应一个目录，内部按段（segment）组织。每个段包含两个核心文件：一个.log文件存储实际消息数据，一个.index文件存储偏移量与物理位置的映射，以及可能存在的timeindex文件用于时间戳索引。这种分段设计使得日志可以按段删除和压缩，便于管理。
2. 【回答框架 2】消息在log文件中的存储格式是紧凑的二进制结构，每条消息包含长度、CRC校验、属性、时间戳、键和值等字段，且多消息会批量打包成RecordBatch以提高写入和网络传输效率。段内消息按偏移量顺序追加，配合索引文件实现快速定位。
3. 【回答框架 3】存储效率的保障主要通过顺序写和页缓存（page cache）实现。由于消息追加到分区末尾，Kafka利用磁盘顺序写的高吞吐特性，同时依赖操作系统页缓存吸收读写流量，减少磁盘I/O次数。此外，批量发送、消息压缩、以及零拷贝（sendfile）技术也显著提升了读写性能。
4. 【回答框架 4】在清理策略上，Kafka支持基于时间或大小的日志保留策略，以及日志压缩（log compaction）用于保留每个键的最新消息。这些机制在保证数据可用性的同时，控制了存储占用，提升了整体存储效率。
5. 【关键点 1】分区日志分段存储，包含log和index文件。
6. 【关键点 2】消息以RecordBatch格式批量存储，结构紧凑。
7. 【关键点 3】顺序写和页缓存是存储效率的关键，配合零拷贝。
8. 【关键点 4】日志保留策略和压缩机制控制存储成本。
9. 【易错点 1】不要将存储效率完全归功于顺序写，页缓存和批量操作同样重要。
10. 【易错点 2】索引文件不是为每条消息建索引，而是稀疏索引，需说明。
11. 【易错点 3】日志压缩并不删除所有旧数据，只保留每个键的最新版本。