ElasticSearch搜索与分析引擎-Linux离线环境安装教程

目录

一、下载安装包

网盘链接:

二、安装流程及遇到的问题和解决方案

（1）JDK安装

（2）Elasticsearch安装

（3）Kibana安装

​（4）Ik分词器安装

三、启动过程中的问题

（1）日志输出

（2）日志一直输出

（3）告警日志

（4）设置密码

（5）failed to authencated user [xxxx]

（6）Es和Kibana启动停止命令

---

一、下载安装包 Jdk官网：Java Downloads | Oracle Es+Kibana官网：Download Elasticsearch | Elastic Ik分词器：https://github.com/medcl/elasticsearch-analysis-ik 网盘链接: Es链接: https://pan.baidu.com/s/1u4a_3w_2271jkdbgoD9pXg 提取码: 865r Kibana链接: https://pan.baidu.com/s/1pwBk5gIjgegzFg4eAOPoew 提取码: 7zz4 Ik分词器链接: https://pan.baidu.com/s/10wK4TOfGJsAItRoewQPN0Q 提取码: 3gzx JDK11链接: https://pan.baidu.com/s/1m1IpkF6ResRyb1WQveeZJQ 提取码: bwk8 二、安装流程及遇到的问题和解决方案 （1）JDK安装 （1）将下载好的jdk安装包放到/usr/local/java目录下，解压缩：tar -zxvf jdk-11.0.22_linux-x64_bin.tar.gz （2）修改环境变量配置文件：vim /etc/profile export JAVA_HOME=/usr/local/java/jdk-11.0.22   export JRE_HOME=${JAVA_HOME}/jre   export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib   export PATH=${JAVA_HOME}/bin:$PATH （3）保存：source /etc/profile （4）查看是否安装成功：java -version PS : JDK这个安装过程，可装可不装，Es有自己封装好的jdk。

​

（2）Elasticsearch安装 （2.1） 将下载好的安装包，放到服务器上，例如：/app/elastic目录下，然后解压缩：tar -zxvf elasticsearch-7.16.3-linux-x86_64.tar.gz （2.2）进入elasticsearch目录下，再进入config目录，编辑配置文件：vim elasticsearch.yml，修改好配置文件后，wq保存并退出 #设置集群名和节点名 cluster.name: my-es node.name: node-1 #控制节点是否允许从单个目录启动多个实例。这个参数的目的是防止多个节点共享相同的数据路径，以 #防止数据丢失 node.max_local_storage_nodes: 256 #设置es的data和log目录，data和log目录如果不存在，可以自己创建，然后制定对应的路径 path.data: /app/es/es-test/data path.logs: /app/es/es-test/logs #es启动时，会检测是否有内存锁定的配置，不开启时，启动日志中可能会报错，打开注释后，同步需要 #更改一些系统文件的配置项 bootstrap.memory_lock: true #设置对外可访问的地址及端口号 network.host: 0.0.0.0 http.port: 9200 #开启集群模式时，需要指定一个初始化的主节点 cluster.initial_master_nodes: ["node-1"] #设置用户名和密码，具体设置请看（三-4） xpack.security.enabled: true xpack.security.enrollment.enabled: true #离线环境，需要将该配置项设为false，这样不会默认去官网更新 ingest.geoip.downloader.enabled: false （2.3）启动es,进入bin目录，执行：./elasticsearch

安装Es的时候，会有以下几个常见的问题：

（p1）can not run elasticsearch as root

[2023-01-31T17:42:42,296][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [] uncaught exception in thread [main] org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException:can not run elasticsearch as root

（S1）更换一个普通用户

Es出于系统安全设置考虑，不允许root用户启动实例，需要创建一个普通用户 # 新建用户组和密码 1. groupadd elsearch#用户组 useradd elsearch#普通用户 -g elsearch#用户组 -p elasticsearch#用户密码 # 授予普通用户权限 2.chown -R elsearch:elsearch elasticsearch#Es目录 # 切换到elsearch用户 3.su elsearch # 启动es 4. cd /bin ./elasticsearch # 查看是否启动成功 5. 服务器请求： curl http://ip:9200 浏览器请求： http://ip:9200 若启动成功，可以看到es版本号等信息

（p2）bootstrap checks failed

ERROR: [3] bootstrap checks failed [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536] [2]: max number of threads [3780] for user [es] is too low, increase to at least [4096] [3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] [2018-12-12T21:54:57,353][INFO ][o.e.n.Node ] [PlbSkhz] stopping ... [2018-12-12T21:54:57,413][INFO ][o.e.n.Node ] [PlbSkhz] stopped [2018-12-12T21:54:57,413][INFO ][o.e.n.Node ] [PlbSkhz] closing ... [2018-12-12T21:54:57,473][INFO ][o.e.n.Node ] [PlbSkhz] closed [2018-12-12T21:54:57,488][INFO ][o.e.x.m.j.p.NativeController] [PlbSkhz] Native controller process has stopped - no new native processes can be started

（S2）修改系统文件中的部分配置项

如果非root用户创建es的话，普通用户就需要root授予sudo权限，用于修改一些系统文件的配置。 #查询当前用户是否有sudo权限 sudo cat /etc/sudoers # max virtual memory areas vm.max_map_count [65530] is too low,increase to at least 262144] 修改命令： 打开文件:sudo vi /etc/sysctl.conf 添加内容：vm.max_map_count = 262144 保存修改：sysctl -p # max file descriptors [4096] for elastic process is too low,increase to at least [65536] 修改命令： 打开文件：sudo vi /etc/security/limits.conf 添加内容：* soft nofile 65536 * hard nofile 65536 * soft nproc 65536 * hard nproc 65536 * soft memlock unlimited * hard memlock unlimited # es默认的内存大小可能需要手动修改，如果启动日志中有告警提示的话，可以酌情修改参数值 修改命令： 打开文件：vi /es/config/jvm.options 修改内容：-Xms 2g -Xmx 2g

 （P3）es自7.x之后，都有自带的jdk环境，如果安装版本和服务器本机jdk版本不符，可以使用es自带的jdk。

（S3）如图

（P4）安装ik重启后报错

# org.elasticsearch.bootstrap.StartupException: java.lang.IllegalStateException: failed to obtain node locks, tried [[/data/elasticsearch/data/elasticsearch]] with lock id [0]; maybe these locations are not writable or multiple nodes were started without increasing [node.max_local_storage_nodes] (was [1])?

（S4）解决方案，设置节点数

# 打开config/elasticsearch.yml 添加内容：node.max_local_storage_nodes: 256 保存，重启es （3）Kibana安装 （3.1）上传Kibana安装包，解压缩，tar -zxvf kibana-7.16.3-linux-x86_64.tar.gz （3.2）进入config目录，修改配置信息 # 指定kibana访问主机地址和端口号 server.host: "localhost" server.port: 5601 # 关联的es实例地址 elasticsearch.hosts: ["http://localhost:9200"] # 关联的es的用户名和密码 elasticsearch.username: "kibana_system" elasticsearch.password: "pass" # 设置Kibana的日志存储路径 logging.dest: /var/logs/kibana.log #Kibana汉化 i18n.locale: "zh-CN" #以下设置为8.12版本的格式 #logging.root.level: debug #logging.appenders.default: # type: file # fileName: /var/logs/kibana.log # layout: # type: json （3.3）wq保存退出，进入bin目录，启动实例 命令：./kibana & #后台启动 （3.4）启动成功，浏览器输入：http://ip:5601 查看是否成功 （4）Ik分词器安装 （4.1）Ik分词器是zip包，如果机器上没有zip相关命令，需要先安装一下 在线：yum -y install unzip 离线：下载unzip离线包-unzip-6.0-19.el7.x86_64.rpm，放入指定目录，并执行以下命令安装： rpm -Uvh unzip-6.0-19.el7.x86_64.rpm 安装成功后，输出rpm -qa | grep unzip 查看是否安装成功 （4.2）对Ik安装包解压缩后，将其移动到/elasticsearch/plugins目录下，重启es

Ik分词器有两种分词粒度，分别是“粗粒度-ik_max_word”和“细粒度-ik_smart ”，elastic也有自己的分词策略-standard，三种测试情况如下：

三、启动过程中的问题

Kibana启动时遇到的错误：

（1）日志输出

​

（2）日志一直输出 如果Kibana启动后，日志一直如下图所示，在不停地输出info信息，其中可能会夹杂着一些warning信息，这些其实目前我并没有弄清楚它具体的原因。但是现在有两种方法，可以解决日志一直输出的问题。 （2.1）在kibana.yml文件中，将以下注释掉的选项，打开并修改： logging.quiet: ture 该配置项设为true时，日志文件中就只会输出error级别的日志。 （2.2）对Es和Kibana设置密码，具体设置流程见（3）.在一直输出的日志里，会看到部分warning信息，具体如下图2，告警信息主要是说明，如果es未设置用户名和密码，可能会导致任何人都可以访问你的es实例，不安全，系统就会一直提示设置用户名和密码。 设置了密码并重启机器之后，日志确实不会一直输出了，我理解的话是因为，Kibana不再一致刷新es的监控状态了，所以就不会一直发请求，日志自然就不再一直输出了，等一定的时间间隔才会有新的日志输出。 ！！！！如果有哪位大佬知道，Kibana启动后，一直有日志输出的这个问题的原因，劳烦帮忙给解释一下，万分感谢！！！！！！！！

​

​

​

（3）告警日志 [warning][config][plugins][security] # xpack.security.encryptionKey 为32位随机keyGenerating a random key for xpack.security.encryptionKey. # 为防止kibana重启 用户会话失效，配置文件增加 xpack.security.encryptionKey 配置；或者 使用 kibana-encryption-keys启动 To prevent sessions from being invalidated on restart, please set xpack.security.encryptionKey in the kibana.yml or use the bin/kibana-encryption-keys command. [warning][config][plugins][reporting] Generating a random key for xpack.reporting.encryptionKey. To prevent sessions from being invalidated on restart, please set xpack.reporting.encryptionKey in the kibana.yml or use the bin/kibana-encryption-keys command. [warning][encryptedSavedObjects][plugins] # xpack.encryptedSavedObjects.encryptionKey 未设置，kibaba 部分功能受限Saved objects encryption key is not set. This will severely limit Kibana functionality. Please set xpack.encryptedSavedObjects.encryptionKey in the kibana.yml or use the bin/kibana-encryption-keys command. [warning][actions][plugins] # API功能关闭； 设置 xpack.encryptedSavedObjects.encryptionKey 启用 APIs are disabled because the Encrypted Saved Objects plugin is missing encryption key. Please set xpack.encryptedSavedObjects.encryptionKey in the kibana.yml or use the bin/kibana-encryption-keys command.

在kibana.yml中新增如下配置，配置项的值，可以随机生成32位字符串：

xpack.encryptedSavedObjects.encryptionKey: encryptedSavedObjects12345678909876543210 xpack.security.encryptionKey: encryptionKeysecurity12345678909876543210 xpack.reporting.encryptionKey: encryptionKeyreporting12345678909876543210 参考：https://blog.csdn.net/h952520296/article/details/112017739 Linux命令行： head /dev/urandom | tr -dc A-Za-z0-9 | head -c 32 Windows命令行： New-Guid | ForEach-Object { $_ -replace '-', '' } | Set-Content encryptionKey.txt （4）设置密码 首先，在elasticsearch.yml中添加几句配置项： xpack.security.enabled: true xpack.security.transport.ssl.enabled: true 添加后，wq保存退出。 然后，执行命令： ./elasticsearch-setup-passwords interactive 会提示要设置多项的密码，选择y后，直接输出密码即可，如图。 最后，密码设置成功后，需要重启es。 然后是更新Kibana的配置文件kibana.yml，将其中两句注释掉的配置打开，并修改成自己es的用户名和密码： #添加以下内容 elasticsearch.username: "elastic" elasticsearch.password: "你在es中设置的密码" 修改完成后，wq保存退出，并重启Kibana。

​

（5）failed to authencated user [xxxx] Es如果中途宕机，重启后报上述错误： （5.1）停止es，修改配置文件，将设置的密码的两行配置项先注释掉 （5.2）然后删除config下的elasticsearch.keystore文件 （5.3）打开配置文件，将注释去掉 （5.4）保存，重启es （5.5）按照（4）步骤重置密码 （5.6）再次重启es （6）Es和Kibana启动停止命令 （1）Elasticsearch启动，进入bin目录，执行命令： ./elasticsearch 后台启动命令：./elasticsearch -d 然后打开logs目录下的xxx.log查看日志。 （2）Kibana启动，进入bin目录，执行命令： ./kibana 后台启动命令：./kibana & 然后打开logs目录下的kibana.log查看日志。 （3）均适用的服务停止命令： netstat -tnpl | grep 9200/5601 根据端口号查看各个进程的进程号， 然后执行： kill -9 'Es.PID/Kibana.PID'