百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

使用 ElasticSearch 搭建搜索服务器的实战技巧

nanshan 2025-07-03 18:19 5 浏览 0 评论

使用 ElasticSearch(ES) 搭建搜索服务器是处理大规模数据搜索和分析的强大解决方案。ElasticSearch 提供了分布式、全文搜索、高可用和实时搜索的功能,非常适合用于构建高性能搜索服务。

以下是使用 ElasticSearch 搭建搜索服务器的实战技巧,包括环境配置、核心功能实现、性能优化和常见问题解决。


1. 安装与环境配置

(1)安装 ElasticSearch

  • 通过包管理器安装(推荐)Ubuntu/Debian
  • bash
  • 复制
  • wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.x.deb sudo dpkg -i elasticsearch-8.x.deb
  • CentOS/RHEL
  • bash
  • 复制
  • wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.x.rpm sudo rpm -ivh elasticsearch-8.x.rpm
  • Docker 安装
    使用 Docker 容器快速部署:
  • bash
  • 复制
  • docker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:8.x

(2)配置 ElasticSearch

修改 elasticsearch.yml 文件(通常位于 /etc/elasticsearch/),进行基础配置:

  • 网络设置
  • yaml
  • 复制
  • network.host: 0.0.0.0 # 允许外部访问 http.port: 9200 # HTTP 端口
  • 集群设置(单节点可忽略):
  • yaml
  • 复制
  • cluster.name: my-cluster node.name: node-1

(3)启动服务

  • 手动启动:
  • bash
  • 复制
  • sudo systemctl start elasticsearch sudo systemctl enable elasticsearch
  • 验证是否启动成功:
  • bash
  • 复制
  • curl -X GET "http://localhost:9200/"

2. 数据索引与文档管理

ElasticSearch 的核心功能是索引(Index)和文档(Document)的管理。

(1)创建索引

创建一个索引以存储数据:

bash

复制

PUT /my_index
{
  "settings": {
    "number_of_shards": 3, 
    "number_of_replicas": 1
  }
}
  • number_of_shards:分片数量,默认 1。
  • number_of_replicas:副本数量,至少配置为 1 个以保证高可用。

(2)添加文档

将数据存储到索引中:

bash

复制

POST /my_index/_doc/1
{
  "title": "ElasticSearch 实战",
  "content": "ElasticSearch 是一个强大的搜索工具。",
  "tags": ["搜索", "大数据"],
  "date": "2023-01-01"
}

(3)查询文档

  • 按 ID 查询
  • bash
  • 复制
  • GET /my_index/_doc/1
  • 全文搜索
  • bash
  • 复制
  • GET /my_index/_search { "query": { "match": { "content": "搜索" } } }

(4)删除文档与索引

  • 删除文档:
  • bash
  • 复制
  • DELETE /my_index/_doc/1
  • 删除索引:
  • bash
  • 复制
  • DELETE /my_index

3. 搜索功能实现技巧

ElasticSearch 提供了丰富的搜索功能,可以根据业务场景进行灵活配置。

(1)分词器选择

分词器(Analyzer)决定了数据如何被索引和搜索:

  • 标准分词器(默认):
    适合英文和简单的文本。
  • 中文分词器
    使用插件 ik 分词器。 安装 ik 分词器:
  • bash
  • 复制
  • ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v8.x/ik-8.x.zip
  • 配置索引时启用 ik 分词器:
  • bash
  • 复制
  • PUT /my_index { "settings": { "analysis": { "analyzer": { "ik_smart": { "type": "ik_smart" } } } } }

(2)多字段搜索

在多个字段中同时进行搜索:

bash

复制

GET /my_index/_search
{
  "query": {
    "multi_match": {
      "query": "搜索",
      "fields": ["title", "content"]
    }
  }
}

(3)高亮搜索结果

在返回结果中突出显示关键字:

bash

复制

GET /my_index/_search
{
  "query": {
    "match": {
      "content": "搜索"
    }
  },
  "highlight": {
    "fields": {
      "content": {}
    }
  }
}

(4)分页查询

通过 from 和 size 参数实现分页:

bash

复制

GET /my_index/_search
{
  "from": 0,
  "size": 10,
  "query": {
    "match": {
      "content": "搜索"
    }
  }
}

4. 性能优化技巧

在数据量较大或高并发的场景下,优化 ElasticSearch 性能至关重要。

(1)索引优化

  • 适当的分片数量: 对于小型索引,分片数不宜过多,通常设置为 1-3。 对于大数据量场景,分片数可根据数据量和集群节点数调整。
  • 关闭动态映射: 动态映射会自动为新字段创建索引,可能影响性能。
  • bash
  • 复制
  • PUT /my_index/_settings { "index.mapping.dynamic": false }

(2)查询优化

  • 使用过滤器
    对于非评分相关的查询,使用 filter 替代 query,提高性能。
  • bash
  • 复制
  • GET /my_index/_search { "query": { "bool": { "filter": { "term": { "tags": "搜索" } } } } }
  • 避免深分页
    深分页会导致性能下降,使用 search_after 或滚动查询(scroll)。
  • bash
  • 复制
  • GET /my_index/_search { "query": { ... }, "search_after": [10], "sort": ["_id"] }

(3)集群优化

  • 合理分配资源: 增加内存分配,修改 jvm.options 文件:
  • plaintext
  • 复制
  • -Xms4g -Xmx4g
  • 建议分配不超过物理内存的 50%。
  • 启用压缩
    启用传输和存储的压缩减少数据量:
  • yaml
  • 复制
  • http.compression: true

5. 常见问题排查

(1)内存溢出

  • 问题
    节点崩溃,日志中出现 OutOfMemoryError。
  • 解决方法: 减少分片数。 增加 JVM 堆内存。

(2)查询慢

  • 问题
    查询响应时间过长。
  • 解决方法: 优化索引(减少字段、增加分词器)。 使用 profile 分析查询性能:
  • bash
  • 复制
  • GET /my_index/_search { "profile": true, "query": { "match": { "content": "搜索" } } }

(3)数据不一致

  • 问题
    查询结果与预期不符。
  • 解决方法: 检查数据是否被正确索引。 强制刷新索引:
  • bash
  • 复制
  • POST /my_index/_refresh

6. 总结

使用 ElasticSearch 搭建搜索服务器需要从安装配置到查询实现进行精细化管理。以下是关键步骤:

  1. 环境配置:确保安装正确并调整基础设置。
  2. 索引与文档管理:根据业务需求设计索引结构。
  3. 搜索功能实现:使用分词器、多字段搜索、高亮等功能提升用户体验。
  4. 性能优化:通过索引分片、缓存和查询优化提升性能。
  5. 常见问题排查:及时发现和修复可能的系统问题。

通过结合这些技巧,ElasticSearch 可以高效处理大规模数据搜索,为应用提供强大的搜索能力。

相关推荐

在 Ubuntu 上安装 Zabbix(以 Zabbix 6.4 LTS 版本为例)

Zabbix是一个流行的开源监控解决方案,能够监控各种网络参数和服务器健康状态。一、环境准备系统要求Ubuntu20.04/22.04LTS至少2GBRAM(生产环境建议4GB+)至少1...

如何在 Ubuntu 24.04 服务器上安装 Apache Solr

ApacheSolr是一个免费、开源的搜索平台,广泛应用于实时索引。其强大的可扩展性和容错能力使其在高流量互联网场景下表现优异。Solr基于Java开发,提供了分布式索引、复制、负载均衡及自...

如何在 Ubuntu 24.04 LTS 或 22.04/20.04 上安装 Apache Maven

Maven是由Apache托管的开源工具,用于管理Java项目。它包含一个项目对象模型(POM):一个配置文件(XML),其中包含项目的基本信息,包括配置、项目依赖项等。Maven可以处理...

Cursor的终极对手——Trae Pro最新系统提示词

前段时间,字节的AI编程神器Trae国际版,终于甩出了Pro订阅计划!很多对它又爱又恨的小伙伴,直呼:终于等到你。爱它,是因为Trae长期免费+体验真香;恨它?还不是那该死的排队等待,...

AI系统提示词:V0(ai代码提示)

以下是对V0系统提示词(SystemPrompt)的分部分讲解与解读,帮助你理解其核心内容和设计意图。V0系统提示词##CoreIdentity-Youarev0,Vercel&...

8岁男童失踪第13天,搜救人员发现可疑水库,更恶心的事情发生了

Lookingatyourrequest,Ineedtorewritethearticleaboutthe8-year-oldmissingboywhilemaking...

docker常用指令及安装rabbitMQ(docker安装zabbix)

一、docker常用指令启动docker:systemctlstartdocker停止docker:systemctlstopdocker重启docker:systemctlrestart...

三步教你用Elasticsearch+PyMuPDF实现PDF大文件秒搜!

面对100页以上的大型PDF文件时,阅读和搜索往往效率低下。传统关系型数据库在处理此类数据时容易遇到性能瓶颈,而Elasticsearch凭借其强大的全文检索和分布式架构,成为理想解决方案。通过...

ElasticSearch中文分词插件(IK)安装

坚持原创,共同进步!请关注我,后续分享更精彩!!!前言ElasticSearch默认的分词插件对中文支持很不友好。一段话按规则会以每个中文字符来拆解,再分别建立倒排索引。如"中华人民共和国国歌...

SpringBoot使用ElasticSearch做文档对象的持久化存储?

ElasticSearch是一个基于Lucene的开源搜索引擎,广泛应用于日志分析、全文搜索、复杂查询等领域,在有些场景中使用ElasticSearch进行文档对象的持久化存储是一个很不错的选择...

Elasticsearch数据迁移方案(elasticsearch copyto)

前言最近小编要去给客户部署一套系统涉及到了Mysql和ES数据的迁移,下面就给大家分享一下ES数据迁移的几套方案,根据具体的使用场景来选择不同的迁移方案能使你事倍功半,话多说下面就一一介绍。Elast...

Rancher部署单体ElasticSearch(rancher2.5部署)

Rancher是k8s图形管理界面,之前曾有写文章介绍如何安装。ElasticSearch是热门搜索引擎,很多地方都有用到,常规安装部署略显繁琐,本文介绍在k8s下用rancher简易部署ES。1.在...

Elasticsearch在Java项目的搜索实践:从零开始构建高效搜索系统

Elasticsearch在Java项目中的搜索实践:从零开始构建高效搜索系统在现代的Java项目中,数据量激增,传统的数据库查询方式已经无法满足快速检索的需求。这时,Elasticsearch(E...

小白入门-Kibana安装(kibana安装配置)

一Kibana基础1.1介绍Kibana是一款免费且开放的前端应用程序,其基础是ElasticStack,可以为Elasticsearch中索引的数据提供搜索和数据可视化功能。Kiban...

Docker上使用Elasticsearch,Logstash,Kibana

在对一个项目做性能测试时我需要处理我们web服务器的访问日志来分析当前用户的访问情况。因此,我想这是试用ELK的一个好机会。ELK栈首先要注意的是使用它是非常简单的。从决定使用ELK到在本机上搭一个...

取消回复欢迎 发表评论: