正文

elasticsearch入门第六篇：复合数据类型——数组，对象和嵌套

悦光阴  悦光阴  2022-08-30  434

关键词：

这是ElasticSearch 2.4 版本系列的第六篇：

在ElasticSearch中，使用JSON结构来存储数据，一个Key/Value对是JSON的一个字段，而Value可以是基础数据类型，也可以是数组，文档（也叫对象），或文档数组，因此，每个JSON文档都内在地具有层次结构。复合数据类型是指数组类型，对象类型和嵌套类型，各个类型的特点分别是：

数组字段是指一个字段有多个值，每个值都是该数组字段的一个元素；元素的类型可以是基础类型，也可以是文档类型；
对象类型是指字段的值是一个JSON文档；
嵌套字段是指对象类型的一个特殊版本，ElasticSearch引擎在内部把嵌套字段索引成单个文档。如果在嵌套字段中定义对象数组，那么对象数组中的每个元素（文档）都被索引成单个文档，每个文档都能被独立地查询。

一，对象类型

JSON文档是有层次结构的，一个文档可能包含其他文档，如果一个文档包含其他文档，那么该文档值是对象类型，其数据类型是对象，ElasticSearch默认把文档的属性type设置为object，即"type":"object"。

例如，在创建索引映时，定义name字段为对象类型，不需要显式定义type属性值，其默认值是object：

"manager":{  
   "properties":{  
      "age":{ "type":"integer"},
      "name":{  
         "properties":{  
            "first":{"type":"string"},
            "last":{ "type":"string"}
         }
      }
   }
}

默认情况下，上述文档类型被索引为以点号命名的数据结构，把层次结构展开之后，数据结构是由扁平的key/value对构成：

{
  "manager.age":        30,
  "manager.name.first": "John",
  "manager.name.last":  "Smith"
}

二，开箱即用的数组类型

在ElasticSearch中，没有专门的数组（Array）数据类型，但是，在默认情况下，任意一个字段都可以包含0或多个值，这意味着每个字段默认都是数组类型，只不过，数组类型的各个元素值的数据类型必须相同。在ElasticSearch中，数组是开箱即用的（out of box），不需要进行任何配置，就可以直接使用。

1，数组类型

在同一个数组中，数组元素的数据类型是相同的，ElasticSearch不支持元素为多个数据类型：[ 10, "some string" ]，常用的数组类型是：

字符数组: [ "one", "two" ]
整数数组: productid:[ 1, 2 ]
对象（文档）数组: "user":[ { "name": "Mary", "age": 12 }, { "name": "John", "age": 10 }]，ElasticSearch内部把对象数组展开为 {"user.name": ["Mary", "John"], "user.age": [12,10]}

对于文档数组，每个元素都是结构相同的文档，文档之间都不是独立的，在文档数组中，不能独立于其他文档而去查询单个文档，这是因为，一个文档的内部字段之间的关联被移除，各个文档共同构成对象数组。

对整数数组进行查询，例如，使用多词条（terms）查询类型，查询productid为1和2的文档：

{  
   "query":{  
      "terms":{  
         "productid":[ 1, 2 ]
      }
   }
}

2，对象数组

通过PUT动词，自动创建索引和文档类型，在文档中创建对象数组：

PUT my_index/my_type/1
{
  "group" : "fans",
  "user" : [ 
    {
      "first" : "John",
      "last" :  "Smith"
    },
    {
      "first" : "Alice",
      "last" :  "White"
    }
  ]
}

ElasticSearch引擎内部把对象数组展开成扁平的数据结构，把上例的文档类型的数据结构展开之后，文档数据类似于：

{
  "group" :        "fans",
  "user.first" : [ "alice", "john" ],
  "user.last" :  [ "smith", "white" ]
}

字段 user.first 和 user.last 被展开成数组字段，但是，这样展开之后，单个文档内部的字段之间的关联就会丢失，在该例中，展开的文档数据丢失first和last字段之间的关联，比如，Alice 和 white 的关联就丢失了。

三，嵌套数据类型

嵌套数据类型是对象数据类型的特殊版本，它允许对象数组中的各个对象被索引，数组中的各个对象之间保持独立，能够对每一个文档进行单独查询，这就意味着，嵌套数据类型保留文档的内部之间的关联，ElasticSearch引擎内部使用不同的方式处理嵌套数据类型和对象数组的方式，对于嵌套数据类型，ElasticSearch把数组中的每一个嵌套文档（Nested Document）索引为单个文档，这些文档是隐藏（Hidden）的，文档之间是相互独立的，但是，保留文档的内部字段之间的关联，使用嵌套查询（Nested Query）能够独立于其他文档而去查询单个文档。在创建嵌套数据类型的字段时，需要设置字段的type属性为nested。

1，在索引映射中创建嵌套字段

设置user字段为嵌套数据类型，由于每个字段默认都可以是数组类型，因此，嵌套字段也可以是对象数组。

"mappings":{  
   "my_type":{  
      "properties":{  
         "group":{ "type":"string"},
         "user":{  
            "type":"nested",
            "properties":{  
               "first":{ "type":"string"},
               "second":{  "type":"string"}
            }
         }
      }
   }
}

2，为嵌套字段赋值

为嵌套字段赋予多个值，那么ElasticSearch自动把字段值转换为数组类型。

PUT my_index/my_type/1
{
  "group" : "fans",
  "user" : [ 
    { "first" : "John", "last" :  "Smith"},
    { "first" : "Alice", "last" :  "White"}
  ]
}

在ElasticSearch内部，嵌套的文档（Nested Documents）被索引为很多独立的隐藏文档（separate documents），这些隐藏文档只能通过嵌套查询（Nested Query）访问。每一个嵌套的文档都是嵌套字段（文档数组）的一个元素。嵌套文档的内部字段之间的关联被ElasticSearch引擎保留，而嵌套文档之间是相互独立的。在该例中，ElasticSearch引起保留Alice和White之间的关联，而John和White之间是没有任何关联的。

默认情况下，每个索引最多创建50个嵌套文档，可以通过索引设置选项：index.mapping.nested_fields.limit 修改默认的限制。

Indexing a document with 100 nested fields actually indexes 101 documents as each nested document is indexed as a separate document.

四，嵌套查询

嵌套查询用于查询嵌套对象，执行嵌套查询执行的条件是：嵌套对象被索引为单个文档，查询作用在根文档（Root Parent）上。嵌套查询由关键字“nested”指定：

"nested" : {
        "path" : "obj1",
        "query" : {...}

1，必须赋值的参数：

path参数：指定嵌套字段的文档路径，根路径是顶层的文档，通过点号“.”来指定嵌套文档的路径；
query参数：在匹配路径（参数path）的嵌套文档上执行查询，query参数指定对嵌套文档执行的查询条件。

2，使用嵌套查询访问嵌套文档

GET my_index/_search
{
  "query": {
    "nested": {
      "path": "user",
      "query": {
        "bool": {
          "must": [
            { "match": { "user.first": "Alice" }},
            { "match": { "user.last":  "White" }} 
          ]
        }
      }
    }
  }
}

五，使用C#索引数组类型

1，创建ElasticSearch的索引映射

{  
   "settings":{  
      "number_of_shards":5,
      "number_of_replicas":0
   },
   "mappings":{  
      "events":{  
        "dynamic":"false",
         "properties":{  
            "eventid":{  
               "type":"long",
               "store":true,
               "index":"not_analyzed"
            },
            "eventname":{  
               "type":"string",
               "store":true,
               "index":"analyzed",
               "fields":{  
                  "raw":{  
                     "type":"string",
                     "store":true,
                     "index":"not_analyzed"
                  }
               }
            },
            "topics":{  
               "type":"integer",
               "store":true,
               "index":"analyzed"
            }
         }
      }
   }
}

View Code

对于topics字段，类型是integer，赋予其一组整数值[1,2,3]，那么该字段就能存储数组。

"topics":{  
    "type":"integer",
    "store":true,
    "index":"analyzed"
}

2，创建数据模型（Data Model）

为数组字段定义为List类型，每个列表项的数据类型是int。

public class EventBase
{
    public long eventid { get; set; }
}

public class EbrieEvents:EventBase
{
    public string eventname { get; set; }
    public List<int> topics { get; set; }
}

3，为字段赋值

为List字段topics赋值，调用NEST对该文档进行索引

EbrieEvents pb = new EbrieEvents();

//Topics List
List<string> strTopics = TableRow["Topics"].ToString().TrimEnd(',').Split(',').ToList();
List<int> topics = new List<int>();
foreach(string str in strTopics)
{
    topics.Add(int.Parse(str));
}
pb.topics = topics;

4，查询数组字段

{  
   "query":{  
      "terms":{  
         "topics":[1001,487]
      }
   }
}

参考文档：

Elasticsearch Reference [2.4] » Mapping » Field datatypes

Elasticsearch Reference [2.4] » Query DSL » Joining queries » Nested Query

elasticsearch入门第一篇：windows下安装elasticsearch

这是ElasticSearch2.4版本系列的第一篇：ElasticSearch入门第一篇：Windows下安装ElasticSearchElasticSearch入门第二篇：集群配置ElasticSearch入门第三篇：索引ElasticSearch入门第四篇：使用C#添加和更新文档ElasticSearch入门第五篇：使用C#查询文档... 查看详情

elasticsearch：分析器

ElasticSearch入门第七篇：分析器这是ElasticSearch2.4版本系列的第七篇：ElasticSearch入门第一篇：Windows下安装ElasticSearchElasticSearch入门第二篇：集群配置ElasticSearch入门第三篇：索引ElasticSearch入门第四篇：使用C#添加和更新文档ElasticSear... 查看详情

kotlin入门第三课：数据类型

前文链接：Kotlin学习第一课：从对比Java开始Kotlin入门第二课：集合操作初次尝试用Kotlin实现Android项目 Kotlin的数据类型与Java类似，因此这篇文章主要看Kotlin的几点改变（改进）。 1、内置数据类型Double--64位 F... 查看详情

elasticsearch实战（十三）-复合数据字段类型

本文主要讲解ElasticSearch复合数据字段类型，帮助大家打好ElasticSearch基础。——continue 查看详情

elasticsearch入门第一篇：elasticsearch在windows系统下的安装(代码片段)

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。... 查看详情

elasticsearch入门第一篇：elasticsearch在windows系统下的安装(代码片段)

elasticsearch实战-复合数据类型(代码片段)

在ElasticSearch中，使用JSON结构来存储数据，一个Key/Value对是JSON的一个字段，而Value可以是基础数据类型，也可以是数组，文档（也叫对象），或文档数组，因此，每个JSON文档都内在地具有层次... 查看详情

elasticsearch实战-复合数据类型(代码片段)

javascript入门第六章（数据类型比较）(代码片段)

1.null与undefined比较undefined与null的区别，两个都表示什么都没有null==undefined：成立，他们的值都是空null===undefined：不成立，他们的值相等但是数据类型不同<script>/*JS总共有六种数据类型，... 查看详情

elasticsearch入门第二篇：elasticsearch安装与使用ik中文分词器(代码片段)

1、简介IKAnalyzer是一个开源的，基于Java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的... 查看详情

elasticsearch入门第二篇：elasticsearch安装与使用ik中文分词器(代码片段)

javamail入门第五篇解析邮件

上一篇JavaMail入门第四篇接收邮件中，控制台打印出的内容，我们无法阅读，其实，让我们自己来解析一封复杂的邮件是很不容易的，邮件里面格式、规范复杂得很。不过，我们所用的浏览器内置了解析各种数据类型的数据处理... 查看详情

elasticsearch入门第一篇：elasticsearch在windows系统下的安装(代码片段)

spring入门第二十九课

事务的隔离级别,回滚，只读，过期当同一个应用程序或者不同应用程序中的多个事务在同一个数据集上并发执行时，可能会出现许多意外的问题。并发事务所导致的问题可以分为下面三种类型：-脏读-不可重复读-幻读看代码：db... 查看详情

elasticsearch入门第二篇：elasticsearch安装与使用ik中文分词器(代码片段)

...IK中文分词器下载IK中文分词器：https://github.com/medcl/elasticsearch-analysis-ik/releases注意：选择的IK分词器版本一定要与你的Elasticsearch版本一致，否则就无法启动Elasticsearch服务。例如，本人的Elasticsearch版本为：8.4.1&... 查看详情

spring入门第六课

XML配置里的Bean自动装配SpringIOC容器可以自动装配Bean。需要做的仅仅是在<bean>的autowire属性里指定自动装配的模式ByType（根据类型自动装配）：若IOC容器中有多个与目标Bean类型一致的的Bean，在这种情况下，Spring将无法判定哪... 查看详情