Apache Kafka的日常使用离不开主题、分区、副本、生产者和消费者这几类基本操作。命令本身并不复杂，但很多细节默认值在生产环境里并不合适，一个参数选错就可能引起数据丢失、消费积压或磁盘写满。这篇文章按照实际操作顺序，把Kafka基本操作中怎么做、参数怎么选以及容易踩的坑讲清楚，适合日常运维和开发调试时对照使用。
一、主题、分区与副本操作怎么做
主题创建是使用Kafka的第一步。通过kafka-topics.sh创建主题时，必须显式指定分区数和副本因子。分区数决定并行消费上限，副本因子决定容灾能力。创建命令中--partitions和--replication-factor是两个核心参数，生产环境不建议省略。下面是一个创建主题的基础命令：
kafka-topics.sh --create --topic order-events --partitions 6 --replication-factor 3 --bootstrap-server localhost:9092
分区数怎么选比较合理？一般建议分区数大于等于消费者组内消费者实例数，这样每个消费者都能分到分区，避免部分消费者空闲。同时也要考虑吞吐需求，分区越多并行处理能力越强，但也不是越多越好。副本因子至少设为3，且不能超过broker节点数，否则创建会失败。查看主题详情使用--describe，重点关注Leader、Replicas和ISR三列，如果ISR数量小于副本数，说明存在副本同步滞后。
kafka-topics.sh --describe --topic order-events --bootstrap-server localhost:9092 kafka-topics.sh --alter --topic order-events --partitions 9 --bootstrap-server localhost:9092
需要特别留意的是，分区数只能增加不能减少，一旦创建后想缩减分区只能重建主题并迁移数据，操作成本较高。删除主题前要确认broker配置delete.topic.enable为true，否则删除请求不会真正生效。删除操作不可逆，执行前务必确认主题已无业务流量。
二、生产者和消费者操作怎么做怎么选
生产者的核心参数是acks。配置为0表示不等待确认，吞吐最高但可能丢失消息；配置为1表示leader写入成功即确认，但从节点同步失败时仍可能丢数据；配置为all或-1表示所有ISR副本确认后才返回，最安全但延迟略高。生产环境如果要保证数据可靠，应选acks=all，并配合min.insync.replicas至少为2，否则acks=all也形同虚设。控制台生产者命令如下：
kafka-console-producer.sh --broker-list localhost:9092 --topic order-events
也可以通过配置文件指定可靠性参数，避免每次启动都手写：
acks=all min.insync.replicas=2 retries=5
消费者操作最容易出错的是--from-beginning参数。该参数会让消费者从主题最早偏移量开始读取，而不是从当前消费组已提交的位置继续。如果只是想查看最新数据，不要加这个参数。指定消费组后，Kafka会记录偏移量，重复启动时不会从头消费。下面是一个带消费组的消费者命令：
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic order-events --group order-group --from-beginning
消费组管理使用kafka-consumer-groups.sh。--describe可以查看lag值，判断消费是否积压；--reset-offsets可以重置偏移量，但执行时必须加--execute，否则默认只打印重置方案而不会真正执行。重置偏移量会改变消费位置，线上操作要先停止消费者，避免和正在提交的偏移产生冲突。查看消费组状态和重置偏移的命令示例：
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group order-group --describe kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group order-group --topic order-events --reset-offsets --to-latest --execute
三、Kafka基本操作避坑建议与注意事项
自动创建主题建议在生产环境关闭。Kafka默认auto.create.topics.enable=true，当生产者向不存在的主题写入数据时会自动创建，默认分区数和副本因子可能不符合预期，容易造成单点风险。建议在server.properties中显式关闭自动创建，并设置合理的默认副本因子：
auto.create.topics.enable=false default.replication.factor=3
日志保留策略要结合磁盘容量设置。log.retention.hours默认168小时，如果业务消息量大，7天数据可能迅速占满磁盘。可以按topic级别覆盖retention.ms或retention.bytes。删除数据是异步的，磁盘告急时往往已经来不及处理。同时需要关注log.segment.bytes和log.cleanup.policy，避免小文件过多影响读写性能。
不要盲目追求过多分区。分区数增加会带来文件句柄、内存和元数据开销，还会增加故障恢复时间。一般单机分区总数控制在几千以内，单主题分区数根据吞吐和消费者数量评估。消费组频繁rebalance时，应优先检查max.poll.interval.ms和session.timeout.ms是否设置过小，而不是简单重启消费者。最后，所有涉及删除、重置偏移、调整副本的操作，建议先在测试环境验证命令效果，确认无误后再上线执行，避免造成在线事故。
Apache Kafka基本操作避坑建议修改时间：2026-09-24 04:19:37