kafka单机部署

2021/03/17

kafka单机部署

参考资料

  • 官网地址:https://kafka.apache.org/
  • 下载地址:https://kafka.apache.org/downloads
  • 文档地址:

1 windows环境单点安装

kafka安装与命令行调用
[工作中爬过的坑] Kafka配置域名的三种难度

1.Kafka下载地址  http://kafka.apache.org/downloads

2.解压文件 

3.修改配置:config下server.properties文件,把listeners的配置放开
listeners=PLAINTEXT://:9092

// 一些配置项说明
//#1、broker实例id 这个是kafka集群区分每个节点的唯一标志符
broker.id=0
//#2、监听的端口号
listeners=PLAINTEXT://:9092
//#3、消息的存放路径
log.dirs=E:\zhanghaoBF\【完成】SpringBoot整合kafka\kafka_2.11-2.3.0\zhanghaoBFkafkakafka_2.11-2.3.0kafka-logs
//#4、kafka消息的保留时间,默认为7天即168小时【单位为:小时】
log.retention.hours=168
//#5、log文件存放着msg,这里设置的是log文件的最大大小,默认最大为1个G【单位为:byte】
log.segment.bytes=1073741824
//#6、kafka链接的zk地址
zookeeper.connect=localhost:2181
//#7、kafka链接的超时时间
zookeeper.connection.timeout.ms=6000
//#8、默认的分区数量
num.partitions=1

4.启动:
//前提:已部署启动zk或者启动自带的zookeeper "./zookeeper-server-start.sh …/config/server.properties&"
进目录:cd D:\kafka_2.11-2.3.0\bin\windows
执行命令:kafka-server-start.bat ..\..\config\server.properties
///启动成功:
[2020-11-27 10:15:39,749] INFO Kafka version: 2.3.0 (org.apache.kafka.common.utils.AppInfoParser)
[2020-11-27 10:15:39,751] INFO Kafka commitId: fc1aaa116b661c8a (org.apache.kafka.common.utils.AppInfoParser)
[2020-11-27 10:15:39,751] INFO Kafka startTimeMs: 1606443339746 (org.apache.kafka.common.utils.AppInfoParser)
[2020-11-27 10:15:39,755] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

5.验证
进目录:cd D:\kafka_2.11-2.3.0\bin\windows

//创建topic
执行命令:kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testDemo
执行结果:Created topic testDemo.

//replication-factor:表示在不同的broker中保存几份副本。设置为1表示该topic除了当前leader主机外,在其他brocker上还有1个副本。
//partitions:表示分区数。设置为1表示该topic(同一个brocker上)存在有多少个分区。PS:每个分区的数据是不重复的,用于提高吞吐量。

//查看topic,##查看localhost:2181上存在的topic信息
执行命令:kafka-topics.bat --list --zookeeper localhost:2181
执行结果:testDemo

// #删除topic
bin/kafka-topics.sh --delete --zookeeper node1:2181 --topic test

//启动生产者
title producer
kafka-console-producer.bat --broker-list localhost:9092 --topic testDemo
>
//输入消息内容:
>hello kafka!!
>oho
>???
>test
>test2
>test3
>

//启动消费者
title consumer
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic testDemo --from-beginning
//展示消息内容
hello kafka!!
oho
???
test
test2
test3

PS:某些博文里会推荐使用‘kafka-console-consumer.bat –zookeeper localhost:2181 –topic’ testDemo
这个命令来启动消费者,这里说明一下,低版本的kafka是用这个命令来启动消费者并进行消息消费的;
由于本文使用的kafka版本较高,所以才用的上面那个命令行进行消费者启动,并消费信息。

2 Linux环境单点安装

部署kafka_2.11-2.2.0

1.Kafka下载地址  http://kafka.apache.org/downloads

2.上传、授权、解压文件
chmod 755 kafka_2.11-2.3.0.tgz
tar zxvf kafka_2.11-2.3.0.tgz

3.修改配置:config下server.properties文件,把listeners的配置放开
listeners=PLAINTEXT://:9092

// 一些配置项说明
//#1、broker实例id 这个是kafka集群区分每个节点的唯一标志符
broker.id=0
//#2、监听的端口号
listeners=PLAINTEXT://:9092
//#3、消息的存放路径
log.dirs=E:\zhanghaoBF\【完成】SpringBoot整合kafka\kafka_2.11-2.3.0\zhanghaoBFkafkakafka_2.11-2.3.0kafka-logs
//#4、kafka消息的保留时间,默认为7天即168小时【单位为:小时】
log.retention.hours=168
//#5、log文件存放着msg,这里设置的是log文件的最大大小,默认最大为1个G【单位为:byte】
log.segment.bytes=1073741824
//#6、kafka链接的zk地址
zookeeper.connect=localhost:2181
//#7、kafka链接的超时时间
zookeeper.connection.timeout.ms=6000
//#8、默认的分区数量
num.partitions=1

4.启动:
//前提:已部署启动zk或者启动自带的zookeeper "./zookeeper-server-start.sh …/config/server.properties&"
进目录:cd /opt/kafka_2.11-2.3.0/bin
执行命令:./kafka-server-start.sh ../config/server.properties &
///启动成功:
[2020-11-26 18:56:09,666] INFO Kafka version: 2.3.0 (org.apache.kafka.common.utils.AppInfoParser)
[2020-11-26 18:56:09,666] INFO Kafka commitId: fc1aaa116b661c8a (org.apache.kafka.common.utils.AppInfoParser)
[2020-11-26 18:56:09,666] INFO Kafka startTimeMs: 1606445769664 (org.apache.kafka.common.utils.AppInfoParser)
[2020-11-26 18:56:09,667] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)


5.验证 
//创建topic
执行命令:./kafka-console-producer.sh --broker-list localhost:9092 --topic testDemo
执行结果:Created topic testDemo. 

//查看topic,##查看localhost:2181上存在的topic信息
执行命令:./kafka-topics.sh --list --zookeeper localhost:2181
执行结果:testDemo

// #删除topic
./kafka-topics.sh --delete --zookeeper node1:2181 --topic test

//启动生产者
./kafka-console-producer.sh --broker-list localhost:9092 --topic testDemo
>
//输入消息内容:
>hello kafka!!
>oho
>???
>test
>test2
>test3
>

//启动消费者
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testDemo --from-beginning
//展示消息内容
hello kafka!!
oho
???
test
test2
test3

问题记录

Post Directory

扫码关注公众号:暂无公众号
发送 290992
即可立即永久解锁本站全部文章