系统要求

DC/OS 部署的软硬件要求

硬件前提条件

硬件前提条件是单个 bootstrap 节点、Mesos 管理节点和 Mesos 代理节点。

Bootstrap 节点

  • DC/OS 装置在一个 Bootstrap 节点上运行,该节点带有两个核心、16 GB RAM 和 60 GB HDD。
  • bootstrap 节点仅在安装和升级过程中使用,因此没有针对高性能存储或分离挂载点的具体建议。

注意:bootstrap 节点必须与群集节点分开。

群集节点

在安装期间,群集节点是指定的 Mesos 管理节点和代理节点。支持的操作系统和环境列于 版本政策页面

DC/OS 安装到群集节点上的 /opt/mesosphere/opt/mesosphere 目录可在安装 DC/OS 之前创建,但必须是空目录或指向空目录的链接。DC/OS 可以通过在挂载卷上创建空目录,在 /opt/mesosphere 处创建指向空目录的链接,然后安装 DC/OS 的方式,安装在单独的卷挂载上。

管理节点

下表显示了管理节点的硬件要求:

最低 推荐
节点数 1* 3 或 5
处理器 4 核 4 核
内存 32 GB RAM 32 GB RAM
硬盘 120 GB 120 GB

* 对于业务关键部署,需要三个管理节点,而不是一个管理节点。

管理节点上有许多混合工作负载。预计持续可用或被视为业务关键的工作负载只能在具有至少三个管理节点的 DC/OS 群集上运行。有关高可用性要求的更多信息,请参阅 高可用性文档

管理节点上混合工作负载的示例是 Mesos 复制日志和 ZooKeeper。其中部分每隔一段时间需要进行 fsync(),而且可以生成很多非常昂贵的随机 I/O。我们推荐以下内容:

  • 固态硬盘 (SSD)
  • 带 BBU 的 RAID 控制器
  • 在回写模式下配置的 RAID 控制器缓存
  • 如果可以分离存储挂载点,则建议在管理节点上使用以下存储挂载点。这些建议将通过隔离各种服务的 I/O 来优化繁忙 DC/OS 群集的性能。
目录路径 描述
/var/lib/dcos 管理节点上的大部分 I/O 将出现在此目录结构中。如果计划一个拥有数百个节点的群集或打算以较高速度部署和删除工作负载,则建议将此目录隔离到专用固态硬盘存储。
  • 对于会发展到数千个节点的群集,建议将此目录结构进一步分解为具体服务的单个挂载点。
目录路径 描述
/var/lib/dcos/mesos/master 日志记录目录
/var/lib/dcos/cockroach CockroachDB Enterprise
/var/lib/dcos/navstar 对于 Mnesia 数据库
/var/lib/dcos/secrets secrets vault Enterprise
/var/lib/dcos/exhibitor Zookeeper 数据库

代理节点

下表显示了代理节点的硬件要求。

最低 推荐
节点数 1 6 或更多
处理器 2 核 2 核
内存 16 GB RAM 16 GB RAM
硬盘 60 GB 60 GB

代理节点还必须具有:

  • 带 20 GB 或更多可用空间的 /var 目录。此目录由沙盒用于 Docker 和 DC/OS 通用容器运行时

  • 公共 Docker 存储库或内部 Docker 注册表的网络访问权限。

  • 在 RHEL 7 和 CenTos 7 上,必须停止并禁用 firewalld。这是一个已知的 Docker 问题firewalld 与 Docker 的交互不佳。如需更多信息,请参阅 Docker Engine release notes 文档。

    sudo systemctl stop firewalld && sudo systemctl disable firewalld
    
  • 禁用 DNSmasq(DC/OS 需要访问端口 53):

    sudo systemctl stop dnsmasq && sudo systemctl disable dnsmasq.service
    
  • 群集的 Mesos 管理节点和代理节点持久信息存储在 var/lib/mesos 目录中。

    重要信息:不要远程挂载 /var/lib/mesos 或 Docker 存储目录(默认情况下 /var/lib/docker)。

  • 在您打算使用 DC/OS CLI 的系统上挂载 noexec 可能破坏 CLI 功能,除非 TMPDIR 环境变量设置为 /tmp/ 以外的其他值。

  • 如果计划一个拥有数百个代理节点的群集或打算以较高速度部署和删除服务,则建议将此目录隔离到专用固态硬盘存储。

目录路径 描述
/var/lib/mesos/ 代理节点的大多数 I/O 将定向到此目录。此外,Apache Mesos 在广告中声明的其 UI 的磁盘空间是支持 /var/lib/mesos
  • 对于会发展到数千个节点的群集,建议将此目录结构进一步分解为具体服务的单个挂载点。
目录路径 描述
/var/lib/mesos/slave/slaves 任务的沙盒目录
/var/lib/mesos/slave/volumes 由消耗 ROOT 持久卷的框架使用
/var/lib/mesos/docker/store 存储用来配置 URC 容器的 Docker 镜像层
/var/lib/docker 存储用来配置 Docker 容器的 Docker 镜像层

端口和协议配置

  • 必须在所有节点上启用安全外壳 (SSH)。
  • 必须在所有节点上启用互联网控制消息协议 (ICMP)。
  • 所有主机名(FQDN 和简短主机名)在 DNS 中必须可解析;正向和反向查找必须成功。Enterprise
  • 每个节点均可从 bootstrap 节点访问网络。
  • 每个节点均具有从本身到 DC/OS 群集中所有节点的不受限制 IP 至 IP 连接。
  • 所有端口都应打开,以进行从管理节点到代理节点的通信,反之亦然。Enterprise
  • UDP 必须打开才能进入管理节点上的端口 53。为连接到群集,Mesos 代理节点服务 (dcos-mesos-slave) 使用此端口查找 leader.mesos

DC/OS 用户与管理节点之间的中介(例如,执行 SSL 终止的反向代理)要求:

  • 在向客户端发送任何数据之前,中介不必缓冲整个回复。
  • 检测到客户端消失时,中介还应该关闭相应的上游 TCP 连接(即,中介 不应重复使用上游 HTTP 连接)。

高速互联网访问

建议为 DC/OS 安装使用高速互联网连接。DC/OS 服务需要每秒至少 10 MBit。如果工件下载时间超过文件 /opt/mesosphere/etc/mesos-slave-common 中 MESOS_EXECUTOR_REGISTRATION_TIMEOUT 的值,某些 DC/OS 服务的安装将失败。MESOS_EXECUTOR_REGISTRATION_TIMEOUT 的默认值为 10 分钟。

软件前提条件

  • 在 XFS 使用 OverlayFS 时,应使用 -n ftype=1 标记创建 XFS 卷。请参阅 Red HatMESOS 文档,了解详细信息。

注意:名称服务缓存守护程序 'nscd' 或 'unscd.service' 必须禁用,因为它与 Mesos UCR 不兼容。

所有节点

Docker

Docker 必须安装在所有 bootstrap 和群集节点上。支持的 Docker 版本列于 版本策略页面

建议

  • 确保 Docker 的 live-restore 设置已禁用。在 Docker 配置文件中,应缺少此项或设置为 false。

  • 不要在 loop-lvm 模式下使用 Docker devicemapper 存储驱动。如需更多信息,请参阅 Docker 和 Device Mapper 存储驱动

  • 在选择生产存储驱动时,最好是 direct-lvm 模式下的 OverlayFSdevicemapper。如需更多信息,请参阅 Docker 的 选择存储驱动

  • 使用 systemd 管理 CentOS 上的 Docker。systemd 将启动 Docker 并在它崩溃时帮助重启 Dcoker。

  • 以根用户(带 sudo)或 docker 用户组中用户的身份,运行 Docker 命令。

分发特定的安装

每个 Linux 系统分发都需要以特定方式安装 Docker:

如需更多信息,请参阅 Docker 的分发特定的安装说明

禁用 sudo 密码提示

要禁用 sudo 密码提示,必须将以下行添加到 /etc/sudoers 文件。

%wheel ALL=(ALL) NOPASSWD: ALL

或者,您也可以作为 root user 执行 SSH。

启用 NTP

网络时间协议 (NTP) 必须在所有节点上启用,以便时钟同步。默认情况下,在 DC/OS 启动期间,如果未启用,将会出现错误。您可以通过运行以下一个命令来检查 NTP 是否启用,具体取决于操作系统和配置:

ntptime
adjtimex -p
timedatectl

bootstrap 节点

在安装 DC/OS 之前,您必须确保 bootstrap 节点具备以下前提条件。

重要信息:如果您指定 exhibitor_storage_backend: zookeeper,bootstrap 节点将是群集的永久部分。有了 exhibitor_storage_backend: zookeeper,Mesos 管理节点的领导者状态和领导者选举将在 bootstrap 节点上的 Exhibitor ZooKeeper 中维持。如需更多信息,请参阅配置参数文档

  • bootstrap 节点必须与群集节点分开。

DC/OS 配置文件

Docker NGINX(生产安装)

仅用于生产安装,使用此命令安装 Docker NGINX 镜像:

sudo docker pull nginx

群集节点

仅对于生产安装,群集节点必须具备以下前提条件。在安装期间,群集节点被指定为 Mesos 管理节点和代理节点。

数据压缩(生产安装)

您必须在群集节点上安装 UnZipGNU tarXZ Utils 数据压缩实用程序。

在 CentOS7 和 RHEL7 上安装此类实用程序:

sudo yum install -y tar xz unzip curl ipset

群集权限(生产安装)

在每个群集节点上,遵循以下说明:

  • 确保 SELinux 属于受支持的模式之一。

要检查当前 SELinux 状态和配置,请运行以下命令:

sudo sestatus

DC/OS 支持以下 SELinux 配置:

  • 当前模式:disabled
  • 当前模式:permissive
  • 当前模式:enforcing,假定 Loaded policy nametargeted 此模式在 CoreOS 上不受支持。

要将模式从 enforcing 更改为 permissive,请运行以下命令:

sudo sed -i 's/SELINUX=enforcing/SELINUX=permissive/g' /etc/selinux/config

或者,如果 sestatus 显示“当前模式”为 enforcing,但 Loaded policy name 不是 targeted,请运行以下命令,将 Loaded policy name 更改为 targeted

sudo sed -i 's/SELINUXTYPE=.*/SELINUXTYPE=targeted/g' /etc/selinux/config

注意:确保每个节点上运行的所有服务都能在所选的 SELinux 配置中运行。

  • 添加 nogroupdocker 组:

    sudo groupadd nogroup &&
    sudo groupadd docker
    
  • 重新启动群集,以使更改生效。

    sudo reboot
    

    注意:重启后,节点可能需要几分钟时间才能恢复联机。

区域设置要求

您必须将 LC_ALLLANG 环境变量设置为 en_US.utf-8

localectl set-locale LANG=en_US.utf8

后续步骤