1.系统选择
linux 系统优于 windows 系统. 因为 linux 采用的是 epoll 模型,而 window 一般采用的是轮询方式,并且 linux 有 sendfile,传输效率高
2.磁盘规划
(1)普通的机械盘就能满足kafka的存储要求,因为 kafka使用的是顺序 I/O,它的速度比较快,但是 SSD 更好.
(2)JBOD 性价比优于 RAID.
3.磁盘容量规划需要考虑的点
(1)新增消息数
(2)消息的留存时间
(3)副本数
(4)是否启用压缩
(5)平均消息大小
4.内存规划
(1)尽量分配多的内存给操作系统的 page cache,因为 kafka 是把消息往系统缓存页上写的.
(2)不要给java 堆设置很大的内存,最好不要超过6GB
(3)最好设置 page cache 大于一个日志段,这样大多数消息能够在内存中被命中,效率高.
5.CPU规划
(1)尽量使用多核CPU,最好是多于 8核.因为Kafka对CPU的性能要求不是很高,但是多核能提高kafka的效率.
6.带宽规划
(1)不要使用跨机房的网络
(2)尽量使用高速网络
(3)根据带宽合理考虑系统中kafka的节点数量
7.典型配置
CPU24核
内存32GB
磁盘 1TB 7200 转 SAS 盘两块
带宽1GB/s
Socket Buffer 至少 64KB
————————————————
版权声明:本文为CSDN博主「^一剪梅^」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/Run_by_Wind/article/details/104468019
分享到:
相关推荐
kafka 线上会遇到哪些问题?kafka 线上会遇到哪些问题?kafka 线上会遇到哪些问题?kafka 线上会遇到哪些问题?kafka 线上会遇到哪些问题?kafka 线上会遇到哪些问题?kafka 线上会遇到哪些问题?kafka 线上会遇到...
通过这些内容,我希望你能清晰地了解Kafka是用来做什么的,以及在实际生产 环境中该如何选择Kafka版本,更快地帮助你入门Kafka。 现在我们就来看看在生产环境中的Kafka集群方案该怎么做。既然是集群,那必然就要有多...
CDH大数据平台kafka配置文件以及相关操作
kafka参数配置详解
kafka2.12安装包及环境配置:包括kafka2.12,zookeeper-3.4.12,及说明文档
本资源是windows下kafka的环境配置及c++实现的kafka的producer相关代码,启动后可以测试c++的producer发送消息可以在windows下启动的kafka的customer接收消息。
kafka安装资料,安装文档和相关安装文件,安装步骤 我用的是:ubuntu14 需要jdk8版本,由于文件大小限制没有上传 里面有zookeeper3.4安装文件,kafka2.12的安装文件
Hyperledger Fabric默认使用solo共识,实际上它...该资源就是使用kafka共识的多orderer集群环境下的网络所需要使用的配置文件。你也可以参考下文帮您理解:http://blog.csdn.net/binbinxyz/article/details/79491254
Kafka配置参数详解 Kafka配置参数详解 Kafka配置参数详解 Kafka配置参数详解 Kafka配置参数详解 Kafka配置参数详解
Canal 监听 Mysql 自动写入 Kafka 并消费 配置 Windows 版
Windows下一款免安装配置的kafka环境,解压后包含kafka和zookeeper,无需任何配置,启动脚本即可使用。
kafka集群 zookeeper集群 配置文件
kafka详细配置
docker容器中搭建kafka集群环境,kafka集群配置注意事项与优化
Kafka配置解析,常见的那种资料
kafka配置安装详解及启动测试指南,基本入门教程,读写数据样例
kafka安装包
Kafka 目前支持SSL、SASL/Kerberos、SASL/PLAIN三种认证机制 ,我拿第三种进行了 配置 。你可以直接下载 运行并测试
cloudera 对kafka 安全、配置、优化和管理的建议
kafka客户端和服务以及环境配置,比较详细,跟着做就可以实现卡夫卡发布消息和接收消息,这是一个完整的。net 开发的例子