在 Apache Kafka 中，消息的过期时间是通过什么机制配置的？超过保留期限的消息会被怎样清理？

回答思路

1. 【回答框架 1】Kafka 通过日志保留策略控制消息过期，核心配置是 log.retention.hours（默认168小时），也可用 log.retention.minutes 或 log.retention.ms 精确设置，优先级从高到低为 ms、minutes、hours。保留策略基于消息的日志时间戳或到达时间，具体取决于 log.message.timestamp.type 配置。
2. 【回答框架 2】过期消息由后台的日志清理线程处理，分为删除（delete）和压缩（compact）两种策略。删除策略下，超过保留时间的日志段（segment）会被整体删除，释放磁盘空间；压缩策略则保留每个键的最新值，删除旧版本，适用于键值型数据。
3. 【回答框架 3】清理过程按日志段为单位，Kafka 会检查每个分区的日志段，若段的最大时间戳早于当前时间减去保留时长，则该段被标记为可删除。删除操作是异步的，由 log.cleanup.interval.ms 控制检查频率，默认每5分钟执行一次。
4. 【回答框架 4】实际处理中，消息过期并非精确到每条，而是以段为粒度，因此部分消息可能比设定时间存活更久。此外，若分区持续写入，旧段会自然滚动，清理更及时；若分区空闲，段可能长期不滚动，导致过期消息延迟清理。
5. 【回答框架 5】配置时需注意 log.retention.check.interval.ms 与 log.cleanup.interval.ms 的区别，前者是检查保留时间的间隔，后者是清理线程的运行间隔。生产环境建议根据数据重要性和磁盘容量调整保留时间，并监控磁盘使用率。
6. 【关键点 1】Kafka 消息过期由日志保留策略控制，核心配置为 log.retention.hours，默认168小时。
7. 【关键点 2】清理策略有 delete 和 compact 两种，delete 按段删除，compact 按键保留最新值。
8. 【关键点 3】过期清理以日志段为粒度，异步执行，检查间隔由 log.cleanup.interval.ms 控制。
9. 【关键点 4】消息过期时间基于时间戳，可通过 log.message.timestamp.type 配置使用创建时间或追加时间。
10. 【关键点 5】段不滚动时过期消息可能延迟清理，需结合分区写入情况评估。
11. 【易错点 1】不能将消息过期等同于精确到每条消息的删除，实际以段为单位，存在延迟。
12. 【易错点 2】log.retention.hours 与 log.retention.ms 同时设置时，ms 优先，需避免混淆。
13. 【易错点 3】compact 策略不删除所有旧消息，仅保留每个键的最新值，不适合无键消息。