1. 概述编辑
本文将介绍抽取集群的完整部署步骤。
如您计划部署6.0抽取集群，请先联系帆软技术支持（技术支持联系方式：QQ「800049425」、电话「400-811-8890」）或您对接的帆软销售代表，进行初步评估、以及环境信息等的确认。
注：如您未联系过帆软，自行进行集群的部署，无法保证遇到未知风险后能够及时处理。
2. 操作步骤编辑
2.1 检查端口
抽取集群在web集群基础上需要额外开放50051和50200。
端口号 | 说明 | 修改方式 | 修改结果查看 |
|---|---|---|---|
| 50051 | spider引擎rpc端口 | WEB-INF/config/spider.cluster.properties文件中加一行 spider_grpc_port=XXX （不配默认为50051） 示例： | fanruan.log启动日志中server port和expose port均为修改后的值
|
| 50200 | 新配置框架的rmi | WEB-INF/config/spider.cluster.properties文件中加一行 bi_conf_rpc_port=XXX （不配默认为50200）、 示例： | 系统管理-抽取集群界面该节点的grpcPort为修改后的值
|
2.2 确认各节点服务器时间一致
确认各节点服务器时间差不超过10s，若不一致需要同步一下服务器时间；
2.3 校验节点id
确认WEB-INF/config/cluster.properties里面的id不要重复，如下图所示：
2.4 环境准备
需要先搭建一个Web集群环境出来，作为抽取集群的基础。Web集群搭建步骤见：
| 操作系统 | Web集群搭建方案 |
|---|---|
| Linux | Linux系统搭建Web集群 |
| Windows | Windows系统搭建Web集群 |
2.5 调整配置
6.0装好集群组件，开启集群后即为抽取集群，需要额外配置的地方如下：
| 模块 | 步骤 | 描述 | 说明 |
|---|---|---|---|
| 集群工程 | 创建文件，配置节点属性 | WEB-INF/config/下创建spider.cluster.properties文件 | 按需配置，指定节点属性 |
| 集群组件 | 给redis配置日志 | redis.conf中加一行：logfile "redis.log"，之前的默认配置是：logfile ""。 （已补充到Linux系统安装配置单机Redis） | 对6.0抽取集群来说，redis是比较关键的组件，需要配置下日志，便于日后排查问题。 配置后日志会自动生成在src目录下。 |
nginx配置 | 抽取集群nginx.zip 可以下载该附件，并参考Nginx.conf配置手册配置nginx.conf
| 6.0抽取集群请求均为随机转发 | |
| 系统参数 | 更改系统参数：vm.max_map_count | vim /etc/sysctl.conf | Linux Distro Virtual Memory Areas 默认的vm.max_map_count值是65530，太小不足以支撑ELK的运行。需要将该值增大到至少262144 |
更改系统参数： | vim /etc/profile 在/etc/profile文件中加一行： | 调大文件打开数 | |
| 更改系统参数： | 判断glibc版本： 运行命令 ldd --version 若glibc版本不是2.12：startup.sh 文件第一行增加一行内容：export MALLOC_ARENA_MAX=1，重启tomcat | 解决宕机隐患问题 |
2.6 启用抽取集群
启动成功且配置完成后，可在系统管理>抽取集群中查看节点信息，SYNC为同步节点，ASYNC为非同步节点，具体说明详见抽取集群管理界面。
3. 常见问题编辑
| 问题 | 解决方案 |
|---|---|
| 更新中所有同步节点宕机，则集群直接不可用 | 重启任一同步节点恢复 |
| 清了 redis 导致集群不可用 | 重启所有节点恢复 |
| 有节点宕机时部分请求无响应 | 等待一段时间重新刷新 |
| 集群所有节点都变成 recover 状态 | 等待一小段时间直至有节点恢复成同步节点 若长时间不能恢复，参考抽取集群管理界面，重置节点状态为同步节点 |