主页 / dba / 问题

问题[elasticsearch](dba)

Martin Hope
bomtirgom
Asked: 2022-07-30 04:05:29 +0800 CST
  • 0

这里讨论的分析器和 Lucene 分析器一样吗？我很困惑，因为它们中的大多数都显示出与 Lucene 分析器相似的属性，但博客文章没有提及 Lucene；相反，他们谈论的是 IBM 制造的名为 Informix 的东西。

https://www.ibm.com/docs/en/informix-servers/12.10?topic=analyzers-snowball-analyzer

我只想了解这 5 种类型的分析器：停用词、简单、标准、空白和雪球。它们的属性和Lucene一样吗？看起来他们是一样的，虽然他们的名字不准确。

informix elasticsearch
Martin Hope
Oleg Gritsak
Asked: 2020-09-30 01:03:06 +0800 CST
  • 0

我有一个弹性搜索服务器，它以单节点模式运行。当数据集达到 1TB 时，我添加了第二个节点并使用 reroute api 重新定位了几个分片。现在第二个节点有 5 个分片中的 2 个，但第一个节点仍然拥有所有 5 个分片，并且空间没有被回收。

_cat/shards?v命令显示：

new_messages                    3     p      STARTED    974698739 256.6gb 5.188.130.61  el01
new_messages                    3     r      UNASSIGNED

我找到了一些“解决方案”，例如停止 ES 并手动删除文件，但我不喜欢它们。

elasticsearch
Martin Hope
A_V
Asked: 2017-09-02 04:50:39 +0800 CST
  • 1

我有一个 sqlserver2016 数据库，我想使用 logstash 在 elasticsearch 中建立索引。

这是我的 logstash 配置文件，它有点工作：

input {
jdbc {
jdbc_driver_library => "C:\elastic\Microsoft-JDBC-Driver-6.0-for-SQL-Server\sqljdbc_6.0\enu\jre8\sqljdbc42.jar"
jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
jdbc_connection_string => "jdbc:sqlserver://10.11.12.13:1433;databaseName=testdb1;integratedSecurity=false;user=ElasticExtractor;password=flyingweisels;"
jdbc_user => "ElasticExtractor"
jdbc_password => "flyingweisels"
statement => "select top 150000 Item_ID itemid,merchant_id merchantid,modelnumber,language_id from items order by Item_Id desc"
}
}
output {
elasticsearch {
hosts => "localhost:9200"
index => "testdata"
document_type => "testtype"
document_id => "%{itemid}"
}
}

那么这个文件应该做什么，正如配置的那样，在 elasticSearch 中插入 150k 项。在某种程度上，它只进口了其中的三分之一，例如本例中的 62 382。如果我尝试插入 50k，它只会插入大约 20k。这样做有明显的原因吗？

这是当前的执行日志：

[2017-09-01T08:16:31,923][INFO ][logstash.outputs.elasticsearch] Elasticsearch pool URLs updated {:changes=>{:removed=>[], :added=>[http://localhost:9200/]}}
[2017-09-01T08:16:31,927][INFO ][logstash.outputs.elasticsearch] Running health check to see if an Elasticsearch connection is working {:healthcheck_url=>http://localhost:9200/, :path=>"/"}
[2017-09-01T08:16:32,006][WARN ][logstash.outputs.elasticsearch] Restored connection to ES instance {:url=>"http://localhost:9200/"}
[2017-09-01T08:16:32,007][INFO ][logstash.outputs.elasticsearch] Using mapping template from {:path=>nil}
[2017-09-01T08:16:32,042][INFO ][logstash.outputs.elasticsearch] Attempting to install template {:manage_template=>{"template"=>"logstash-*", "version"=>50001, "settings"=>{"index.refresh_interval"=>"5s"}, "mappings"=>{"_default_"=>{"_all"=>{"enabled"=>true, "norms"=>false}, "dynamic_templates"=>[{"message_field"=>{"path_match"=>"message", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false}}}, {"string_fields"=>{"match"=>"*", "match_mapping_type"=>"string", "mapping"=>{"type"=>"text", "norms"=>false, "fields"=>{"keyword"=>{"type"=>"keyword", "ignore_above"=>256}}}}}], "properties"=>{"@timestamp"=>{"type"=>"date", "include_in_all"=>false}, "@version"=>{"type"=>"keyword", "include_in_all"=>false}, "geoip"=>{"dynamic"=>true, "properties"=>{"ip"=>{"type"=>"ip"}, "location"=>{"type"=>"geo_point"}, "latitude"=>{"type"=>"half_float"}, "longitude"=>{"type"=>"half_float"}}}}}}}}
[2017-09-01T08:16:32,050][INFO ][logstash.outputs.elasticsearch] New Elasticsearch output {:class=>"LogStash::Outputs::ElasticSearch", :hosts=>["//localhost:9200"]}
[2017-09-01T08:16:32,053][INFO ][logstash.pipeline        ] Starting pipeline {"id"=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>500}
[2017-09-01T08:16:32,219][INFO ][logstash.pipeline        ] Pipeline main started
[2017-09-01T08:16:32,313][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}
[2017-09-01T08:16:32,643][INFO ][logstash.inputs.jdbc     ] (0.050000s) select top 150000 Item_ID itemid,merchant_id merchantid,modelnumber,language from items order by Item_Id desc
[2017-09-01T08:16:49,805][WARN ][logstash.agent           ] stopping pipeline {:id=>"main"}

第二件事是，假设我想从来自此输入的 SQL 服务器插入一行，我可以使用什么插件，以便如果该行具有特定的“merchant_id”，它会进入一个以该 ID 命名的弹性类型。此外，如果它有一种特定的“语言”，它会进入一个以该语言为名称的弹性索引。那可以吗？我是否应该简单地创建多个 Logstash 配置文件，每个任务一个？

elasticsearch
Martin Hope
Yuki Inoue
Asked: 2015-12-23 09:59:29 +0800 CST
  • 2

Elasticsearch 的官方文档说我们可以使用 URL 作为 Read-only repository 的设置。该文档还表示 URL 支持多种协议，包括 HTTP。（参考：https ://www.elastic.co/guide/en/elasticsearch/reference/current/modules-snapshots.html#_read_only_url_repository ）

我知道快照作为目录结构存储在存储库中，其中包含 Lucene 索引和一些元数据。

鉴于上述条件，我认为对 HTTP URL 存储库的目录 URL 的 GET 请求需要以某种格式返回其中的文件/目录列表，以便快照 API 恢复快照。至少，我认为需要对包含 Lucene 索引的目录进行某种ls操作。

问题：

  1. 我的理解正确吗？
  2. 如果是这样，目录 URL 所需的格式是什么？（对使快照 API 恢复工作的目录的 HTTP 请求所需的响应是什么？）
elasticsearch
Martin Hope
fisch
Asked: 2013-02-28 04:17:17 +0800 CST
  • 1

我想使用 elasticsearch 作为书籍的网络搜索引擎。一本书有多个版本，具有不同语言的不同标题、ISBN 以及不同语言的作者姓名。我希望通过标题语言和作者姓名语言的任意组合找到一本书，即亚里士多德的拉丁名和他的一部作品的英文标题。

我如何存储所有可能的作者姓名、所有 ISBN、一本书的所有标题和相应的版本 ID 以及有关语言的信息，以便获得匹配的标题、版本 ID 及其语言作为查询的结果？

我相信我需要使用“嵌套类型”，但我不确定。

这样我只找到了这本书的 _id，但没有更多：{ _id: 1 _source: { title: [ Odyssey Odyssee Odisea ] isbn10: [ 2080674722 5941453868 2670361734 ] fullname: [ Homer Omero ] } }

best-practices elasticsearch