Elasticsearch 作为 GenAI 缓存层
作者：JEFF VESTAL，BAHA AZARMI 探索如何将 Elasticsearch 集成为缓存层，通过降低 token 成本和响应时间来优化生成式 AI 性能，这已通过实际测试和实际实施进行了证明。 随着生成式人工智能 (GenAI) 不断革新从客户服务到数据分析等各个领域，它也面临着一系列挑战，包括计算成本和响应时间。 通过使用 Elasticsearch 作为缓存层，我们可以正面解决这些问题，优化效率和效果。...
【ElasticSearch系列-06】Es集群架构的搭建以及集群的核心概念
ElasticSearch系列整体栏目 Es集群架构的搭建以及集群的核心概念 一，深入理解es集群架构的底层原理1，集群的核心概念1.1，节点以及节点类型1.2，请求和响应流程1.3，分片 2，集群搭建2.1，es集群搭建2.2，kibana安装 3，X-pack安全认证4，Node结点类型4.1，不同结点的配置4.2，单一职责的好处 一，深入理解es集群架构的底层原理 前面讲解了es的安装，基本使用等，接下来这篇主要讲...
Elasticsearch：在 ES|QL 中使用 DISSECT 和 GROK 进行数据处理
地址，以便你可以找到最活跃的 IP 地址。 对于使用过 Logstash 及 Ingest pipeline 的开发者来说，DISSECT 及 GROK 对你们来说并不陌生。你可以参阅如下的文章： Elasticsearch：深入理解 Dissect ingest processor Elasticsearch：Dissect 和 Grok 处理器之间的区别 Logstash：使用 dissect 导入 CSV 格式文档...
【ElasticSearch系列-07】ES的开发场景和索引分片的设置及优化
ElasticSearch系列整体栏目 ES的开发场景和索引分片的设置及优化 一，ES的开发场景和索引分片的设置及优化1，ES应用场景1.1，信息搜索库1.2，时间序列库 2，分片的设计和管理2.1，单个分片2.2，多个分片2.2.1，算分不准原因 2.3，分片的设计2.3.1，分片类型选择以及优缺点2.3.2，主分片设计与案例2.3.3，副本分片设计 3，ElasticSearch底层读写原理3.1，数据的写入3.1....
Elasticsearch：使用你的 RAG 来进行聊天
大量知识的复杂任务。 RAG 突然介入，从维基百科或公司知识库等外部来源获取最相关的信息，将其与输入混合，瞧！ 它生成带有参考的综合输出。如果你还想对 RAG 有更多的了解，请详细阅读我之前的文章 “Elasticsearch：什么是检索增强生成 - RAG？”。 🔍 解开 RAG：RAG 将从庞大数据库中检索信息的能力与生成类人文本的艺术无缝地结合起来。 这就像图书管理员取到了合适的书，而讲故事的人则完美地讲述它！ RA...
ElasticSearch 实现 全文检索 支持（PDF、TXT、Word、HTML等文件）通过 ingest-attachment 插件实现 文档的检索
一、Attachment 介绍 Attachment 插件是 Elasticsearch 中的一种插件，允许将各种二进制文件（如PDF、Word文档等）以及它们的内容索引到 Elasticsearch 中。插件使用 Apache Tika 库来解析和提取二进制文件的内容。通过使用 Attachment 插件，可以轻松地在 Elasticsearch 中建立全文搜索功能，而无需事先转换二进制文件为文本。 优点： 缺点： 二、...
elasticsearch索引按日期拆分
PUT _ilm/policy/policy_cktest_sc_system_log{ "policy": { "phases": { "delete": { "min_age": "7d", "actions": { "delete": {} } } } }} 创建索引模板 创建索引模板，索引模板主要是用来创建索引默认属性 PUT _template/sc_all_system_log{ "order":0, ...
ELK中 Elasticsearch和Logstash内存大小设置的考虑
本文为博主原创，转载请注明出处：在ELK（Elasticsearch、Logstash和Kibana）日志采集和分析场景中，适当设置Logstash和Elasticsearch的内存大小非常重要。这可以确保系统能够高效地处理大量的日志数据，并提供快速的搜索和分析功能。对于Logstash和Elasticsearch的内存大小设置，没有一个固定的标准比例适用于所有场景。合理的设置取决于以下因素： 系统总内存：首先...
Elasticsearch：标量量化 101 - scalar quantization 101
作者：BENJAMIN TRENT 什么是标量量化以及它是如何工作的？ 大多数嵌入模型输出 float32 向量值。 虽然这提供了最高的保真度，但考虑到向量中实际重要的信息，这是浪费的。 在给定的数据集中，嵌入永远不需要每个单独维度的所有 20 亿个选项。 对于高维向量（例如 386 维及更高维）尤其如此。 量化允许以有损方式对向量进行编码，从而稍微降低保真度并节省大量空间。 桶里的乐趣 标量量化采用每个向量维度并将它们分...
在 Elasticsearch 中丰富你的 Elasticsearch 文档
作者：David Pilato 对于 Elasticsearch®，我们知道联接应该在 “索引时” 而不是查询时完成。 本博文是一系列三篇博文的开始，因为我们可以在 Elastic® 生态系统中采取多种方法。 我们将介绍如何在 Elasticsearch 中做到这一点。 下一篇博文将介绍如何使用集中式组件 Logstash 来实现这一点，上一篇博文将展示如何使用 Elastic Agent/Beats 在边缘实现这一点。 ...