CEPH配置参数

MONITOR CONFIG REFERENCE
http://ceph.com/docs/master/rados/configuration/mon-config-ref/
客户端在读写数据前,都比去和monitor取得联系,获得cluster map,结合CRUSH算法计算得到对象的位置。
(1)最小配置
生成一个fsid和monitorde的最小配置,配置字段[mon]或[mon.a],ceph监视器默认监听6789端口。
主机名(e.g. mon host = hostname1,hostname2,hostname3): mon host
主机IP(e.g. mon addr = 10.0.0.10:6789,10.0.0.11:6789,10.0.0.12:6789):mon addr
(2)初始成员
必须是个奇数,表示一个初始的最小monitor数,active的monitor达到这个数才能启动。
初始monitor成员ID: mon initial members
(3)数据
monitor存储数据的路径,因为monitor也是在节点上的,monitor会做很多fsync()操作,影响OSD的工作负载,在0.58以前的版本中,monitor的数据是以文件形式存放的,可以用ls,cat等命令直接查看,但是一致性难以保障。之后的版本,数据以key/value的形式存放,并且需要原子性操作,保证一致性,数据保存路径不建议改动。
monitor数据保存路径(e.g. /var/lib/ceph/mon/$cluster-$id):mon data
(4)存储容量
当集群的使用率接近”最大容量”时,monitor会阻止对OSD的读写请求以避免数据丢失,考虑到多个主机可能同时断电造成集群容量剧减,这个”最大容量”通常小于实际的集群总容量,配置段位[global]。
被认为集群已满的最大使用百分比(默认.95):mon osd full ratio
被认为集群接近已满的最大使用百分比(默认.85):mon osd nearfull ratio
(5)monitor间的同步
集群间存在多Monitor共同工作时,存在同步的问题,不必每个monitor都active集群才工作,只要达到最小可工作数量就行了,这个数量在mon initial members中规定,所以有可能一些mon在某一时刻不工作,后来恢复正常后状态就落后了。monitor三种角色:leader,最先获得最新的cluster map;provider,拥有最新的cluster map,但不是最先获得的;requester,状态落后,必须同步后方可工作。
在一个同步过程中,requester向leader请求同步,leader负责分派同步工作给provider,并告知requester去找provider,这样做分摊了工作负载。provider以chunk为单位发给requester最新的状态数据,同步完后,requester告知leader完成,leader恢复一个ACK宣布同步结束。
同步总是在一个新的monitor加入集群时发生。在运行过程中,cluster map不断更新,这三个角色也不断变化,如果provider接受到同步任务但自身状态落后于leader时,它可以终止同步并告知leader。同步完成后,ceph发出一个trimming,这个操作大概是修剪多余的状态数据,并且这个操作必须在PG状态是active+clean时进行。
trimming操作超时(默认30s):mon sync trim timeout
同步时心跳超时(monotor之间的心跳检查,默认30s):mon sync heartbeat timeout
同步时心跳检查间隔(默认5s):mon sync heartbeat interval
同步超时(默认30s):mon sync timeout
同步最大重试次数(默认5):mon sync max retries
同步最大负载量(默认1045676):mon sync max payload size
leader等待requester同步的最大时间(默认10s):mon accept timeout
map更新前收集更新信息的时间间隔(默认1s):paxos propose interval
收集更新信息的最小时间(默认0.05s):paxos min wait
trimming操作前能容忍的最大proposal数(默认30):paxos trim tolerance
未trimming时最大的版本数(默认100):paxos trim disabled max versions
Monitor版本租约秒数(默认5):mon lease
leader去更新其他monitor租约的时间间隔数(默认3s):mon lease renew interval
leader等待provider告知其版本的秒数:mon lease ack timeout
OSD map维持的最小版本号数量(默认500):mon min osdmap epochs
monitor维护的最多的PG map版本号数量(默认500):mon max pgmap epochs
monitor保留的最大的log版本号数量(默认500):mon max log epochs
(6)时钟
不同节点间时钟应该同步,否则一些超时和时间戳相关的机制将无法正确运行,运行又monitor的节点还需要安装NTP来同步时钟。然而NTP 级别的时钟同步还不够,即使NTP同步好,ceph也会报出时钟偏移警告,工作量,网络延迟,配置覆盖等也会对同步有影响。
相对于系统时间的偏移:clock offset
monitor计时间隔秒数(默认5):mon tick interval
monitor间的clock drift(时钟嘀嗒数?,默认.05s):mon clock drift allowed
时钟偏移补偿指数(默认5):mon clock drift warn backoff
leader时间检查间隔(默认300s):mon timecheck interval
(7)客户端
客户端每隔Ns尝试一个Monitor直到建立连接(默认3):mon client hung interval
客户端每个Ns会去ping一个monitor(默认10):mon client ping interval
每一个客户端信息产生的log entires数(默认1000):mon client max log entries per message
内存中的客户端信息数据大小(默认100ul << 20):mon client bytes
(8)杂项
集群允许的最大OSD数量(默认10000):mon max osd
集群为客户端和daemon预分配的全局ID数量(默认100):mon globalid prealloc
写了这么多个对象后和底层文件系统同步一次(默认5):mon sync fs threshold
subscription 间隔秒数(默认500):mon subscribe interval
使最近的N个PGmap统计数据呈现平滑趋势(默认2):mon stat smooth intervals
monitor在bootstrapping前寻找其他Monitor的时间(默认2s):mon probe timeout
元数据和OSD信息可以在内存中驻留的信息大小(默认400ul << 20byte):mon daemon bytes
每个事件最大的log entries数(默认4096):mon max log entries per event

Heartbeat Settings
OSD靠定期检查heartbeat来确认相邻的OSD有没有down,以及在peer过程中检查错误和向monitor汇报自身情况,包括故障发生,PG状态改变,以及检查monitor有没有down。
http://ceph.com/docs/master/rados/configuration/mon-osd-interaction/
(1)MONITOR SETTINGS
向monitor报告down的最小OSD数(默认1):mon osd min down reporters
OSD向monitor报告OSD down的最小次数(默认3):mon osd min down reports
宣布一个无响应的OSD down的超时(默认900):mon osd report timeout
自动标记为out的最大的CRUSH单位类型(默认rack):mon osd downout subtree limit
注:是不是说最大可以标记一个机架out了?
标记一个OSD状态为down和out之前ceph等待的秒数(默认300):mon osd down out interval
自动标记一个新加入的OSD状态为in(默认true):mon osd auto mark new in
自动标记启动中的OSD状态为in(默认为false):mon osd auto mark in
标记在启动过程中被自动标记为out的OSD状态为in(默认true):mon osd auto mark auto out in
The minimum ratio of up Ceph OSD Daemons before Ceph will mark Ceph OSD Daemons down(默认.3):mon osd min up ratio
The minimum ratio of in Ceph OSD Daemons before Ceph will mark Ceph OSD Daemons out(默认.3):mon osd min in ratio
The number of seconds laggy estimates will decay(默认60*60):mon osd laggy halflife
The weight for new samples in laggy estimation decay(默认0.3):mon osd laggy weight
If set to true, Ceph will scale based on laggy estimations(默认true):mon osd adjust heartbeat grace
The weight for new samples in laggy estimation decay(默认.3):mon osd laggy weight
(2)OSD SETTINGS
心跳检查的OSD网络地址(默认主机IP):osd heartbeat address
OSDping它的peer的时间间隔(默认6s):osd heartbeat interval
OSD心跳停止间隔(默认20s):osd heartbeat grace
OSD ping一个monitor的时间间隔(默认30s):osd mon heartbeat interval
OSD报告monitor前等待的最大时间(默认120s):osd mon report interval max
OSD报告monitor前等待的最小时间(默认5s):osd mon report interval max
monitor恢复ACK的超时(默认30s):osd mon ack timeout

网络配置
http://docs.ceph.com/docs/master/rados/configuration/network-config-ref/
(1)集群网络配置
配置字段为[global]
公共网络:public network
私有网络:cluster network
注:建议私有地址和internet还有公共网络部能互通,这个地址用来做OSD的心跳检查,对象的复制和恢复,单独配置私有地址而不是用公用网络做这些对性能有提升。
(2)monitor网络配置
配置字段[mon.a]
主机名(不要使用loaclhost):host
monitor 地址:mon addr
(3)OSD网络配置
配置字段[osd.0]
公共地址:public addr
私有地址:cluster addr
(4)绑定
OSD和MDS进程绑定的最小端口号(默认6800):ms bind port min
OSD和MDS进程绑定的最大端口号(默认:7100):ms bind port max
允许进程使用IPV6的地址(默认false):ms bind ipv6
(5)TCP
开启nodelay选项(默认true):tcp nodelay
注:ceph默认关闭了TCP的buffering,使得请求不缓存立即下发,这样增加了网络流量,增加了延迟如果你要传输大量小文件,就把这个选项关了吧。
收到网络连接终止时socket缓冲区大小(默认关闭):tcp rcvbuf
tcp读超时(默认900s):ms tcp read timeout
注:一个客户端请求另一个ceph daemon时需要新建立一个连接,但是又不想关闭现在的连接,现在的连接就不用了,过了这么多秒后,这个连接被标记为空闲状态。

此条目发表在kubernetes分类目录。将固定链接加入收藏夹。

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注