使用 ElasticSearch 搭建搜索服务器的实战技巧
nanshan 2025-07-03 18:19 5 浏览 0 评论
使用 ElasticSearch(ES) 搭建搜索服务器是处理大规模数据搜索和分析的强大解决方案。ElasticSearch 提供了分布式、全文搜索、高可用和实时搜索的功能,非常适合用于构建高性能搜索服务。
以下是使用 ElasticSearch 搭建搜索服务器的实战技巧,包括环境配置、核心功能实现、性能优化和常见问题解决。
1. 安装与环境配置
(1)安装 ElasticSearch
- 通过包管理器安装(推荐): Ubuntu/Debian:
- bash
- 复制
- wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.x.deb sudo dpkg -i elasticsearch-8.x.deb
- CentOS/RHEL:
- bash
- 复制
- wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.x.rpm sudo rpm -ivh elasticsearch-8.x.rpm
- Docker 安装:
使用 Docker 容器快速部署: - bash
- 复制
- docker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:8.x
(2)配置 ElasticSearch
修改 elasticsearch.yml 文件(通常位于 /etc/elasticsearch/),进行基础配置:
- 网络设置:
- yaml
- 复制
- network.host: 0.0.0.0 # 允许外部访问 http.port: 9200 # HTTP 端口
- 集群设置(单节点可忽略):
- yaml
- 复制
- cluster.name: my-cluster node.name: node-1
(3)启动服务
- 手动启动:
- bash
- 复制
- sudo systemctl start elasticsearch sudo systemctl enable elasticsearch
- 验证是否启动成功:
- bash
- 复制
- curl -X GET "http://localhost:9200/"
2. 数据索引与文档管理
ElasticSearch 的核心功能是索引(Index)和文档(Document)的管理。
(1)创建索引
创建一个索引以存储数据:
bash
复制
PUT /my_index
{
"settings": {
"number_of_shards": 3,
"number_of_replicas": 1
}
}
- number_of_shards:分片数量,默认 1。
- number_of_replicas:副本数量,至少配置为 1 个以保证高可用。
(2)添加文档
将数据存储到索引中:
bash
复制
POST /my_index/_doc/1
{
"title": "ElasticSearch 实战",
"content": "ElasticSearch 是一个强大的搜索工具。",
"tags": ["搜索", "大数据"],
"date": "2023-01-01"
}
(3)查询文档
- 按 ID 查询:
- bash
- 复制
- GET /my_index/_doc/1
- 全文搜索:
- bash
- 复制
- GET /my_index/_search { "query": { "match": { "content": "搜索" } } }
(4)删除文档与索引
- 删除文档:
- bash
- 复制
- DELETE /my_index/_doc/1
- 删除索引:
- bash
- 复制
- DELETE /my_index
3. 搜索功能实现技巧
ElasticSearch 提供了丰富的搜索功能,可以根据业务场景进行灵活配置。
(1)分词器选择
分词器(Analyzer)决定了数据如何被索引和搜索:
- 标准分词器(默认):
适合英文和简单的文本。 - 中文分词器:
使用插件 ik 分词器。 安装 ik 分词器: - bash
- 复制
- ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v8.x/ik-8.x.zip
- 配置索引时启用 ik 分词器:
- bash
- 复制
- PUT /my_index { "settings": { "analysis": { "analyzer": { "ik_smart": { "type": "ik_smart" } } } } }
(2)多字段搜索
在多个字段中同时进行搜索:
bash
复制
GET /my_index/_search
{
"query": {
"multi_match": {
"query": "搜索",
"fields": ["title", "content"]
}
}
}
(3)高亮搜索结果
在返回结果中突出显示关键字:
bash
复制
GET /my_index/_search
{
"query": {
"match": {
"content": "搜索"
}
},
"highlight": {
"fields": {
"content": {}
}
}
}
(4)分页查询
通过 from 和 size 参数实现分页:
bash
复制
GET /my_index/_search
{
"from": 0,
"size": 10,
"query": {
"match": {
"content": "搜索"
}
}
}
4. 性能优化技巧
在数据量较大或高并发的场景下,优化 ElasticSearch 性能至关重要。
(1)索引优化
- 适当的分片数量: 对于小型索引,分片数不宜过多,通常设置为 1-3。 对于大数据量场景,分片数可根据数据量和集群节点数调整。
- 关闭动态映射: 动态映射会自动为新字段创建索引,可能影响性能。
- bash
- 复制
- PUT /my_index/_settings { "index.mapping.dynamic": false }
(2)查询优化
- 使用过滤器:
对于非评分相关的查询,使用 filter 替代 query,提高性能。 - bash
- 复制
- GET /my_index/_search { "query": { "bool": { "filter": { "term": { "tags": "搜索" } } } } }
- 避免深分页:
深分页会导致性能下降,使用 search_after 或滚动查询(scroll)。 - bash
- 复制
- GET /my_index/_search { "query": { ... }, "search_after": [10], "sort": ["_id"] }
(3)集群优化
- 合理分配资源: 增加内存分配,修改 jvm.options 文件:
- plaintext
- 复制
- -Xms4g -Xmx4g
- 建议分配不超过物理内存的 50%。
- 启用压缩:
启用传输和存储的压缩减少数据量: - yaml
- 复制
- http.compression: true
5. 常见问题排查
(1)内存溢出
- 问题:
节点崩溃,日志中出现 OutOfMemoryError。 - 解决方法: 减少分片数。 增加 JVM 堆内存。
(2)查询慢
- 问题:
查询响应时间过长。 - 解决方法: 优化索引(减少字段、增加分词器)。 使用 profile 分析查询性能:
- bash
- 复制
- GET /my_index/_search { "profile": true, "query": { "match": { "content": "搜索" } } }
(3)数据不一致
- 问题:
查询结果与预期不符。 - 解决方法: 检查数据是否被正确索引。 强制刷新索引:
- bash
- 复制
- POST /my_index/_refresh
6. 总结
使用 ElasticSearch 搭建搜索服务器需要从安装配置到查询实现进行精细化管理。以下是关键步骤:
- 环境配置:确保安装正确并调整基础设置。
- 索引与文档管理:根据业务需求设计索引结构。
- 搜索功能实现:使用分词器、多字段搜索、高亮等功能提升用户体验。
- 性能优化:通过索引分片、缓存和查询优化提升性能。
- 常见问题排查:及时发现和修复可能的系统问题。
通过结合这些技巧,ElasticSearch 可以高效处理大规模数据搜索,为应用提供强大的搜索能力。
相关推荐
- 在 Ubuntu 上安装 Zabbix(以 Zabbix 6.4 LTS 版本为例)
-
Zabbix是一个流行的开源监控解决方案,能够监控各种网络参数和服务器健康状态。一、环境准备系统要求Ubuntu20.04/22.04LTS至少2GBRAM(生产环境建议4GB+)至少1...
- 如何在 Ubuntu 24.04 服务器上安装 Apache Solr
-
ApacheSolr是一个免费、开源的搜索平台,广泛应用于实时索引。其强大的可扩展性和容错能力使其在高流量互联网场景下表现优异。Solr基于Java开发,提供了分布式索引、复制、负载均衡及自...
- 如何在 Ubuntu 24.04 LTS 或 22.04/20.04 上安装 Apache Maven
-
Maven是由Apache托管的开源工具,用于管理Java项目。它包含一个项目对象模型(POM):一个配置文件(XML),其中包含项目的基本信息,包括配置、项目依赖项等。Maven可以处理...
- Cursor的终极对手——Trae Pro最新系统提示词
-
前段时间,字节的AI编程神器Trae国际版,终于甩出了Pro订阅计划!很多对它又爱又恨的小伙伴,直呼:终于等到你。爱它,是因为Trae长期免费+体验真香;恨它?还不是那该死的排队等待,...
- AI系统提示词:V0(ai代码提示)
-
以下是对V0系统提示词(SystemPrompt)的分部分讲解与解读,帮助你理解其核心内容和设计意图。V0系统提示词##CoreIdentity-Youarev0,Vercel&...
- 8岁男童失踪第13天,搜救人员发现可疑水库,更恶心的事情发生了
-
Lookingatyourrequest,Ineedtorewritethearticleaboutthe8-year-oldmissingboywhilemaking...
- docker常用指令及安装rabbitMQ(docker安装zabbix)
-
一、docker常用指令启动docker:systemctlstartdocker停止docker:systemctlstopdocker重启docker:systemctlrestart...
- 三步教你用Elasticsearch+PyMuPDF实现PDF大文件秒搜!
-
面对100页以上的大型PDF文件时,阅读和搜索往往效率低下。传统关系型数据库在处理此类数据时容易遇到性能瓶颈,而Elasticsearch凭借其强大的全文检索和分布式架构,成为理想解决方案。通过...
- ElasticSearch中文分词插件(IK)安装
-
坚持原创,共同进步!请关注我,后续分享更精彩!!!前言ElasticSearch默认的分词插件对中文支持很不友好。一段话按规则会以每个中文字符来拆解,再分别建立倒排索引。如"中华人民共和国国歌...
- SpringBoot使用ElasticSearch做文档对象的持久化存储?
-
ElasticSearch是一个基于Lucene的开源搜索引擎,广泛应用于日志分析、全文搜索、复杂查询等领域,在有些场景中使用ElasticSearch进行文档对象的持久化存储是一个很不错的选择...
- Elasticsearch数据迁移方案(elasticsearch copyto)
-
前言最近小编要去给客户部署一套系统涉及到了Mysql和ES数据的迁移,下面就给大家分享一下ES数据迁移的几套方案,根据具体的使用场景来选择不同的迁移方案能使你事倍功半,话多说下面就一一介绍。Elast...
- Rancher部署单体ElasticSearch(rancher2.5部署)
-
Rancher是k8s图形管理界面,之前曾有写文章介绍如何安装。ElasticSearch是热门搜索引擎,很多地方都有用到,常规安装部署略显繁琐,本文介绍在k8s下用rancher简易部署ES。1.在...
- Elasticsearch在Java项目的搜索实践:从零开始构建高效搜索系统
-
Elasticsearch在Java项目中的搜索实践:从零开始构建高效搜索系统在现代的Java项目中,数据量激增,传统的数据库查询方式已经无法满足快速检索的需求。这时,Elasticsearch(E...
- 小白入门-Kibana安装(kibana安装配置)
-
一Kibana基础1.1介绍Kibana是一款免费且开放的前端应用程序,其基础是ElasticStack,可以为Elasticsearch中索引的数据提供搜索和数据可视化功能。Kiban...
- Docker上使用Elasticsearch,Logstash,Kibana
-
在对一个项目做性能测试时我需要处理我们web服务器的访问日志来分析当前用户的访问情况。因此,我想这是试用ELK的一个好机会。ELK栈首先要注意的是使用它是非常简单的。从决定使用ELK到在本机上搭一个...
你 发表评论:
欢迎- 一周热门
-
-
极空间如何无损移机,新Z4 Pro又有哪些升级?极空间Z4 Pro深度体验
-
UOS服务器操作系统防火墙设置(uos20关闭防火墙)
-
如何修复用户配置文件服务在 WINDOWS 上登录失败的问题
-
手机如何设置与显示准确时间的详细指南
-
如何在安装前及安装后修改黑群晖的Mac地址和Sn系列号
-
日本海上自卫队的军衔制度(日本海上自卫队的军衔制度是什么)
-
爱折腾的特斯拉车主必看!手把手教你TESLAMATE的备份和恢复
-
10个免费文件中转服务站,分享文件简单方便,你知道几个?
-
FANUC 0i-TF数据备份方法(fanuc系统备份教程)
-
NAS:DS video/DS file/DS photo等群晖移动端APP远程访问的教程
-
- 最近发表
-
- 在 Ubuntu 上安装 Zabbix(以 Zabbix 6.4 LTS 版本为例)
- 如何在 Ubuntu 24.04 服务器上安装 Apache Solr
- 如何在 Ubuntu 24.04 LTS 或 22.04/20.04 上安装 Apache Maven
- Cursor的终极对手——Trae Pro最新系统提示词
- AI系统提示词:V0(ai代码提示)
- 8岁男童失踪第13天,搜救人员发现可疑水库,更恶心的事情发生了
- docker常用指令及安装rabbitMQ(docker安装zabbix)
- 三步教你用Elasticsearch+PyMuPDF实现PDF大文件秒搜!
- ElasticSearch中文分词插件(IK)安装
- SpringBoot使用ElasticSearch做文档对象的持久化存储?
- 标签列表
-
- linux 查询端口号 (58)
- docker映射容器目录到宿主机 (66)
- 杀端口 (60)
- yum更换阿里源 (62)
- internet explorer 增强的安全配置已启用 (65)
- linux自动挂载 (56)
- 禁用selinux (55)
- sysv-rc-conf (69)
- ubuntu防火墙状态查看 (64)
- windows server 2022激活密钥 (56)
- 无法与服务器建立安全连接是什么意思 (74)
- 443/80端口被占用怎么解决 (56)
- ping无法访问目标主机怎么解决 (58)
- fdatasync (59)
- 405 not allowed (56)
- 免备案虚拟主机zxhost (55)
- linux根据pid查看进程 (60)
- dhcp工具 (62)
- mysql 1045 (57)
- 宝塔远程工具 (56)
- ssh服务器拒绝了密码 请再试一次 (56)
- ubuntu卸载docker (56)
- linux查看nginx状态 (63)
- tomcat 乱码 (76)
- 2008r2激活序列号 (65)