Doris(一) -- 简介和安装

vi /etc/security/limits.conf 
# 在文件最后添加下面几行信息(注意* 也要复制进去)

* soft nofile 65535
* hard nofile 65535
* soft nproc 65535
* hard nproc 65535

# ulimit -n 65535 临时生效
# 重启永久生效。

# 如果不修改这个句柄数大于等于60000，启动doris be节点时会报如下错误
File descriptor number is less than 60000. Please use (ulimit -n) to set a value equal or greater than 60000
W1120 18:14:20.934705  3437 storage_engine.cpp:188] check fd number failed, error: Internal error: file descriptors limit is too small
W1120 18:14:20.934713  3437 storage_engine.cpp:102] open engine failed, error: Internal error: file descriptors limit is too small
F1120 18:14:20.935087  3437 doris_main.cpp:404] fail to open StorageEngine, res=file descriptors limit is too small

# ntpdate是一个向互联网上的时间服务器进行时间同步的软件
yum install ntpdate -y

# 然后开始三台机器自己同步时间

ntpdate ntp.sjtu.edu.cn

# 美国标准技术院时间服务器：time.nist.gov（192.43.244.18）
# 上海交通大学网络中心NTP服务器地址：ntp.sjtu.edu.cn（202.120.2.101）
# 中国国家授时中心服务器地址：cn.pool.ntp.org（210.72.145.44）

# 将当前时间写入bios，这样才能永久生效不变，不然reboot后还会恢复到原来的时间
clock -w

# 临时关闭交换分区
swapoff -a
# 永久删除Swap挂载
vim /etc/fstab
注释 swap 行

# 去自己的路劲中找到fe.conf文件
vi /opt/apps/doris/fe/conf/fe.conf
#配置文件中指定元数据路径： 注意这个文件夹要自己创建
meta_dir = /opt/data/dorisdata/doris-meta
#修改绑定 ip（每台机器修改成自己的 ip）
priority_networks = 192.168.22.0/24

#  去自己的路劲中找到be.conf文件
vi /opt/apps/doris/be/conf/be.conf

#配置文件中指定数据存放路径： 需在启动前创建目录
storage_root_path = /opt/data/doris/be/storage.HDD;/opt/data/doris/be/storage.SSD

#修改绑定 ip（每台机器修改成自己的 ip） 
priority_networks = 192.168.17.0/24 

for i in 2 3
do
scp /et/profile linux0$i:/etc/profile
scp -r /opt/apps/doris/ linux0$i:/opt/apps/
done

# 进入到fe的bin目录下执行
./start_fe.sh --daemon

mysql -h linux01 -P 9030 -uroot
# 设置密码
SET PASSWORD FOR 'root' = PASSWORD('123');


# 查看fe的运行状态
SHOW PROC '/frontends'\G;

# 添加BE节点
ALTER SYSTEM ADD BACKEND "linux01:9050"; 
ALTER SYSTEM ADD BACKEND " linux02:9050"; 
ALTER SYSTEM ADD BACKEND " linux03:9050";

# 查看BE状态
SHOW PROC '/backends';

# 添加环境变量
vi /etc/profile

#doris_fe
export DORIS_FE_HOME=/opt/app/doris1.1.4/fe
export PATH=$PATH:$DORIS_FE_HOME/bin

#doris_be
export DORIS_BE_HOME=/opt/app/doris1.1.4/be
export PATH=$PATH:$DORIS_BE_HOME/bin

source /etc/profile

# 启动 BE（每个节点）
start_be.sh --daemon

# 启动后再次查看BE的节点
SHOW PROC '/backends';
# Alive 为 true 表示该 BE 节点存活

# 启动 Broker
/opt/apps/doris/fe/apache_hdfs_broker/bin/start_broker.sh --daemon
# 使用 mysql-client 连接启动的 FE，执行以下命令：
mysql -h linux01 -P 9030 -uroot -p 123
ALTER SYSTEM ADD BROKER broker_name "linux01:8000","linux02:8000","linux03:8000";

# broker_name 这只是一个名字，可以自己取
# 查看 Broker 状态 
# 使用 mysql-client 连接任一已启动的 FE，执行以下命令查看 Broker 状态：
SHOW PROC "/brokers";

-- 添加FE的新节点
ALTER SYSTEM ADD FOLLOWER "linux02:9010";
ALTER SYSTEM ADD OBSERVER "linux03:9010";

# 第一次添加，一定要加这两个参数  --helper  linux01:9010
/opt/apps/doris/fe/bin/start_fe.sh --helper  linux01:9010 --daemon

-- 删除 Follower FE 时，确保最终剩余的 Follower（包括 Leader）节点最好为奇数。
ALTER SYSTEM DROP FOLLOWER[OBSERVER] "fe_host:edit_log_port";

ALTER SYSTEM DROP FOLLOWER "linux03:9010";

-- 在 MySQL 客户端，通过 ALTER SYSTEM ADD BACKEND 命令增加 BE 节点。
ALTER SYSTEM ADD BACKEND "linux01:9050";

-- DROP 方式删除 BE 节点（不推荐）
ALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port";
ALTER SYSTEM DROP BACKEND "linux03:9050";

-- 注意：DROP BACKEND 会直接删除该 BE，并且其上的数据将不能再恢复！！！所以我们强烈不推荐使用 DROP BACKEND 这种方式删除 BE 节点。当你使用这个语句时,会有对应的防误操作提示。

-- DECOMMISSION 方式删除 BE 节点（推荐）
ALTER SYSTEM DECOMMISSION BACKEND  "be_host:be_heartbeat_service_port"; 
ALTER SYSTEM DECOMMISSION BACKEND "linux03:9050";
-- 1.该命令用于安全删除 BE 节点。命令下发后，Doris 会尝试将该 BE 上的数据向其 他 BE 节点迁移，当所有数据都迁移完成后，Doris 会自动删除该节点。 
-- 2.该命令是一个异步操作。执行后，可以通过 SHOW PROC '/backends'; 看到该 BE节点的 isDecommission 状态为 true。表示该节点正在进行下线。
-- 3.该命令不一定执行成功。比如剩余 BE 存储空间不足以容纳下线 BE 上的数据，或者剩余机器数量不满足最小副本数时，该命令都无法完成，并且 BE 会一直处于isDecommission 为 true 的状态。 
-- 4.DECOMMISSION 的进度，可以通过 SHOW PROC '/backends'; 中的 TabletNum 查看，如果正在进行，TabletNum 将不断减少。 
-- 5.该操作可以通过如下命令取消：CANCEL DECOMMISSION BACKEND "be_host:be_heartbeat_service_port"; 取消0后，该 BE 上的数据将维持当前剩余的数据量。后续 Doris 重新进行负载均衡。

-- Broker 实例的数量没有硬性要求。通常每台物理机部署一个即可。Broker 的添加和删除可以通过以下命令完成：

ALTER SYSTEM ADD BROKER broker_name "broker_host:broker_ipc_port";
ALTER SYSTEM DROP BROKER broker_name "broker_host:broker_ipc_port";
ALTER SYSTEM DROP ALL BROKER broker_name;
-- Broker 是无状态的进程，可以随意启停。当然，停止后，正在其上运行的作业会失败，重试即可。