启动默认redis节点并查看进程是否启动成功;
cd /home/uxdb/uxdbinstall/uxfs/redis-5.0.3 ./start-all.sh ps -ef|grep /redis
创建默认redis集群,查看redis节点信息和redis集群的状态。默认redis集群包含6个redis节点(3主3从),redis集群的状态cluster_state为ok。
./create-cluster.sh /home/uxdb/uxdbinstall/uxfs/redis-5.0.3/src/redis-cli -h 127.0.0.1 -p 6379 cluster nodes /home/uxdb/uxdbinstall/uxfs/redis-5.0.3/src/redis-cli -h 127.0.0.1 -p 6379 cluster info
本节以3台机器(192.168.0.122、192.168.0.123、192.168.0.124)6个redis节点(3主3从)为例讲解多台机器redis的配置及启动。
分别在3台机器上进入/home/uxdb/uxdbinstall/uxfs/redis-5.0.3/config目录,修改劝拿庞蜗菲教ㄗ⒉嵬锯2个节点的配置信息,将配置文件中“ bind 127.0.0.1 ”一行修改为“ bind 本机IP ”。以192.168.0.122,redis.6379.conf和redis.6380.conf为例;
cd /home/uxdb/uxdbinstall/uxfs/redis-5.0.3/config vi redis.6379.conf bind 192.168.0.122 vi redis.6380.conf bind 192.168.0.122
分别在3台机器进入/home/uxdb/uxdbinstall/uxfs/redis-5.0.3目录,修改节点启动脚本start-all.sh:保留修改redis节点的信息,注释掉其他4个节点。保存后执行start-all.sh并查看进程是否启动成功;
cd /home/uxdb/uxdbinstall/uxfs/redis-5.0.3 vi start-all.sh ./src/redis-server ./config/redis.6379.conf ./src/redis-server ./config/redis.6380.conf #./src/redis-server ./config/redis.6381.conf #./src/redis-server ./config/redis.6382.conf #./src/redis-server ./config/redis.6383.conf #./src/redis-server ./config/redis.6384.conf ./start-all.sh ps -ef |grep redis
在劝拿庞蜗菲教ㄗ⒉嵬锯一台机器上修改redis集群创建脚本create-cluster.sh:添加3台机器上的6个节点。执行create-cluster.sh;
vi create-cluster.sh ./src/redis-cli --cluster-replicas 1 --cluster create 192.168.0.122:6379 192.168.0.122:6380 192.168.0.123:6379 192.168.0.123:6380 192.168.0.124:6379 192.168.0.124:6380 ./create-cluster.sh
在劝拿庞蜗菲教ㄗ⒉嵬锯一台机器上执行/home/uxdb/uxdbinstall/uxfs/redis-5.0.3/src/redis-cli -h 机器IP -p redis节点端口号 cluster nodes,可以查看到6个redis节点信息为3主3从;
/home/uxdb/uxdbinstall/uxfs/redis-5.0.3/src/redis-cli -h 192.168.0.122 -p 6379 cluster nodes
在劝拿庞蜗菲教ㄗ⒉嵬锯一台机器上执行/home/uxdb/uxdbinstall/uxfs/redis-5.0.3/src/redis-cli -h 机器IP -p redis节点端口号 cluster info,可以查看到redis集群的状态cluster_state为ok。
/home/uxdb/uxdbinstall/uxfs/redis-5.0.3/src/redis-cli -h 192.168.0.122 -p 6379 cluster info
非默认redis节点的UXFS配置及启动需要首先编辑redis配置文件redisconfig.properties,添加redis节点信息。
进入UXDB安装路径下dir、mrc、osd配置文件所在目录:/home/uxdb/uxdbinstall/uxfs/etc/xos/uxfs_conf,可以查看或修改各模块的默认端口、UUID和路径等配置信息。各模块的默认配置如下表所示(各模块配置文件中不涉及的参数用“-”表示):
表?4.1.?默认参数配置
参数名称 | dirconfig.properties | mrcconfig.properties | osdconfig.properties |
---|---|---|---|
listen.port | 32638 | 32636 | 32640 |
http_port | 30638 | 30636 | 30640 |
listen.address | 127.0.0.1 | 127.0.0.1 | 127.0.0.1 |
babudb.baseDir | /home/uxdb/ngdb/dir/database | /home/uxdb/ngdb/mrc/database | - |
babudb.logDir | /home/uxdb/ngdb/dir/db-log | /home/uxdb/ngdb/mrc/db-log | - |
object_dir | - | - | /home/uxdb/ngdb/objs |
uuid | Default-DIR | Default-MRC | Default-OSD |
如果默认配置端口与其他程序冲突,可以进行修改,避免UXFS启动失败的情况发生。
启动默认UXFS并查看进程是否启动成功。
cd /home/uxdb/uxdbinstall/uxfs ./start-all.sh ps -ef|grep java
进入UXDB安装路径下的osd配置文件所在目录,添加两个osd配置文件,命名与默认osd不同,例如osdconfig1.properties、osdconfig2.properties;
cd /home/uxdb/uxdbinstall/uxfs/etc/xos/uxfs_conf cp osdconfig.properties osdconfig1.properties cp osdconfig.properties osdconfig2.properties
分别修改两个新增osd配置文件中的listen.port、http_port、object_dir、uuid参数值,与其他osd不同,举例如下表所示:
vi osdconfig1.properties vi osdconfig2.properties
表?4.2.?配置文件修改参数说明
参数名称 | 默认参数值 | osdconfig1.properties | osdconfig2.properties |
---|---|---|---|
listen.port | 32640 | 32642 | 32644 |
http_port | 30640 | 30642 | 30644 |
object_dir | /home/uxdb/ngdb/objs | /home/uxdb/ngdb/objs1 | /home/uxdb/ngdb/objs2 |
uuid | Default-OSD | Default-OSD1 | Default-OSD2 |
修改osd监听端口时需要首先查看所有被占用的端口,不能设为已被占用的端口,查看方法:sudo netstat -nultp。
进入UXDB安装路径下的UXFS启动脚本所在目录,修改UXFS启动脚本,添加新加osd的启动命令;
cd /home/uxdb/uxdbinstall/uxfs vi start-all.sh java -Xmx2048m -ea -cp ./java/uxfs-balance/target/uxfs.jar org.uxfs.osd.OSD etc/xos/uxfs_conf/osdconfig1.properties 1>./log/osd.log 2>./log/osd.err & java -Xmx2048m -ea -cp ./java/uxfs-balance/target/uxfs.jar org.uxfs.osd.OSD etc/xos/uxfs_conf/osdconfig2.properties 1>./log/osd.log 2>./log/osd.err &
启动UXFS并查看进程是否启动成功。
./start-all.sh ps -ef|grep java
浏览器打开http://dir的listen.address:dir的http_port/可以查看存在新增的osd1和osd2。例如:http://192.168.0.123:30638/。
表?4.3.?增加osd(不同机器)举例
机器类别 | 机器IP |
---|---|
dir所在机器 | 192.168.0.123 |
新增osd11所在机器 | 192.168.0.124 |
新增osd22所在机器 | 192.168.0.125 |
进入UXDB安装路径下的osd配置文件所在目录,在新增加的两台机器各添加一个osd配置文件,命名与默认osd不同,例如osdconfig11.properties、osdconfig22.properties;
cd /home/uxdb/uxdbinstall/uxfs/etc/xos/uxfs_conf cp osdconfig.properties osdconfig11.properties cp osdconfig.properties osdconfig22.properties
分别修改两个新增osd配置文件中的listen.address、uuid、dir_service.host、dir_service.port参数值。
vi osdconfig11.properties vi osdconfig22.properties
新增osd的listen.address = 新增osd所在机器的ip、uuid与其他的osd不同、dir_service.host = dir的listen.address、dir_service.port = dir的listen.port,举例如下表所示:
表?4.4.?配置文件修改参数说明
新增机器IP | ? | 192.168.0.124 | 192.168.0.125 |
---|---|---|---|
参数名称 | 默认参数值 | osdconfig11.properties | osdconfig22.properties |
listen.address | 127.0.0.1 | 192.168.0.124 | 192.168.0.125 |
uuid | Default-OSD | Default-OSD11 | Default-OSD22 |
dir_service.host | localhost | 192.168.0.123 | 192.168.0.123 |
dir_service.port | 32638 | 32638 | 32638 |
listen.address参数一行在配置文件中是被注释掉的,修改参数后应将注释“#”删除。
进入新增osd所在机器上UXDB安装路径下的UXFS启动脚本所在目录,修改UXFS启动脚本,注释掉dir和mrc的启动命令,修改osd的启动命令;
cd /home/uxdb/uxdbinstall/uxfs vi start-all.sh #java -Xmx1024m -ea -cp ./java/uxfs-balance/target/uxfs.jar org.uxfs.dir.DIR etc/xos/uxfs_conf/dirconfig.properties etc/xos/uxfs_conf/redisconfig.properties $isFirst 1>./log/dir.log 2>./log/dir.err & #java -Xmx1024m -ea -cp ./java/uxfs-balance/target/uxfs.jar:./java/lib/customize-cat.jar org.uxfs.mrc.MRC etc/xos/uxfs_conf/mrcconfig.properties 1>./log/mrc.log 2>./log/mrc.err & java -Xmx2048m -ea -cp ./java/uxfs-balance/target/uxfs.jar org.uxfs.osd.OSD etc/xos/uxfs_conf/osdconfig11.properties 1>./log/osd.log 2>./log/osd.err & java -Xmx2048m -ea -cp ./java/uxfs-balance/target/uxfs.jar org.uxfs.osd.OSD etc/xos/uxfs_conf/osdconfig22.properties 1>./log/osd.log 2>./log/osd.err &
进入dir所在机器上UXDB安装路径下的UXFS启动脚本所在目录,启动UXFS(包含dir、mrc、osd)并查看进程是否启动成功;
cd /home/uxdb/uxdbinstall/uxfs ./start-all.sh ps -ef|grep java
启动新增osd所在机器的UXFS并查看进程是否启动成功;
./start-all.sh ps -ef|grep java
浏览器打开http://dir的listen.address:dir的http_port/可以查看存在新增的osd11和osd22。例如:http://192.168.0.123:30638/。
表?4.5.?dir、mrc、osd在不同机器的配置及启动举例
机器类别 | 机器IP |
---|---|
dir所在机器 | 192.168.0.123 |
mrc所在机器 | 192.168.0.124 |
osd所在机器 | 192.168.0.125 |
启动dir
进入UXDB安装路径下的dir配置文件所在目录,打开dirconfig.properties;
cd /home/uxdb/uxdbinstall/uxfs/etc/xos/uxfs_conf vi dirconfig.properties
配置listen.address = 192.168.0.123(当前机器ip);
进入dir所在机器上UXDB安装路径下的UXFS启动脚本所在目录,修改UXFS启动脚本,注释掉osd和mrc的启动命令;
cd /home/uxdb/uxdbinstall/uxfs vi start-all.sh #java -Xmx2048m -ea -cp ./java/uxfs-balance/target/uxfs.jar org.uxfs.osd.OSD etc/xos/uxfs_conf/osdconfig.properties 1>./log/osd.log 2>./log/osd.err & #java -Xmx1024m -ea -cp ./java/uxfs-balance/target/uxfs.jar:./java/lib/customize-cat.jar org.uxfs.mrc.MRC etc/xos/uxfs_conf/mrcconfig.properties 1>./log/mrc.log 2>./log/mrc.err &
启动dir并查看进程是否启动成功。
./start-all.sh ps -ef|grep java
启动mrc
进入UXDB安装路径下的mrc配置文件所在目录,打开mrcconfig.properties;
cd /home/uxdb/uxdbinstall/uxfs/etc/xos/uxfs_conf vi mrcconfig.properties
配置listen.address = 192.168.0.124(当前机器ip),配置dir_service.host =192.168.0.123(dir的listen.address);
进入mrc所在机器上UXDB安装路径下的UXFS启动脚本所在目录,修改UXFS启动脚本,注释掉dir和osd的启动命令;
cd /home/uxdb/uxdbinstall/uxfs vi start-all.sh #java -Xmx1024m -ea -cp ./java/uxfs-balance/target/uxfs.jar org.uxfs.dir.DIR etc/xos/uxfs_conf/dirconfig.properties etc/xos/uxfs_conf/redisconfig.properties $isFirst 1>./log/dir.log 2>./log/dir.err & #java -Xmx2048m -ea -cp ./java/uxfs-balance/target/uxfs.jar org.uxfs.osd.OSD etc/xos/uxfs_conf/osdconfig.properties 1>./log/osd.log 2>./log/osd.err &
启动mrc并查看进程是否启动成功。
./start-all.sh ps -ef|grep java
启动osd
进入UXDB安装路径下的osd配置文件所在目录,打开osdconfig.properties;
cd /home/uxdb/uxdbinstall/uxfs/etc/xos/uxfs_conf vi osdconfig.properties
配置listen.address = 192.168.0.125(当前机器ip),配置dir_service.host = 192.168.0.123(dir的listen.address);
进入osd所在机器上UXDB安装路径下的UXFS启动脚本所在目录,修改UXFS启动脚本,注释掉dir和mrc的启动命令;
cd /home/uxdb/uxdbinstall/uxfs vi start-all.sh #java -Xmx1024m -ea -cp ./java/uxfs-balance/target/uxfs.jar org.uxfs.dir.DIR etc/xos/uxfs_conf/dirconfig.properties etc/xos/uxfs_conf/redisconfig.properties $isFirst 1>./log/dir.log 2>./log/dir.err & #java -Xmx1024m -ea -cp ./java/uxfs-balance/target/uxfs.jar:./java/lib/customize-cat.jar org.uxfs.mrc.MRC etc/xos/uxfs_conf/mrcconfig.properties 1>./log/mrc.log 2>./log/mrc.err &
启动osd并查看进程是否启动成功;
./start-all.sh ps -ef|grep java
浏览器打开http://dir的listen.address:dir的http_port/可以查看dir、mrc、osd。例如:http://192.168.0.123:30638/。
启动UXFS之后,进入UXDB安装路径下uxfs/bin目录下,
cd /home/uxdb/uxdbinstall/uxfs/bin
查看volumes
./lsfs.uxfs localhost
创建volume
./mkfs.uxfs localhost/demo
删除volume
./rmfs.uxfs localhost/demo
如果dir、mrc、osd在不同机器部署,则将localhost替换为mrc所在机器的IP。