Elasticsearch Query DSL
정확값 쿼리 - Exact Value Query
bool : filter
Elasticsearch는 정확도를 고려하는 풀 텍스트 외에도 검색 조건의 참/거짓 여부만 판별해서 결과를 가져오는 것이 가능하다. 풀 텍스트와 상반되는 이 특성을 정확값이라고 하는데 정확히 일치 하는지 여부 만을 따지는 검색이다.
Exact Value 에는 term, range 와 같은 쿼리들이 속한다.
스코어를 계산하지 않기 때문에 보통 bool 쿼리의 filter 내부에서 사용하게 된다.
테스트 데이터
POST sport_5/_bulk
{"index":{"_id":1}}
{"message":"The quick brown fox"}
{"index":{"_id":2}}
{"message":"The quick brown fox jumps over the lazy dog"}
{"index":{"_id":3}}
{"message":"The quick brown fox jumps over the quick dog"}
{"index":{"_id":4}}
{"message":"Brown fox brown dog"}
{"index":{"_id":5}}
{"message":"Lazy jumping dog"}
명령어
GET sport_5/_search
{
"query" : {
"match": {
"message": "fox"
}
}
}
결과
명령어
GET sport_5/_search
{
"query" : {
"bool" : {
"must": [
{
"match" : {
"message" : "fox"
}
}
],
"filter": [
{
"match":{
"message": "quick"
}
}
]
}
}
}
결과
첫번째 match 쿼리로 fox를 검색했을때는
가장 높은 스코어가 _score : 0.32951736 이다.
첫번째의 검섹에 filter 구문 안에 quick을 추가했는데 가장 높은 스코어는 첫번째 쿼리와 같은 _score : 0.32951736 이다.
filter는 검색에 조건은 추가하지만 스코어에는 영향을 주지 않도록 제어할때 사용한다.
keyword
keyword에 대해서는 문자열과, 공백, 대소문자까지 정확히 일치하는 데이터만을 결과로 리턴한다.
명령어
GET sport_5/_search
{
"query" : {
"bool" : {
"filter": [
{
"match":{
"message.keyword": "The quick brown fox"
}
}
]
}
}
}
결과
keyword 타입으로 저장된 필드는 스코어를 계산하지 않고 정확값의 일치 여부만을 따지기 때문에 스코어가 0.0으로 나오게 된다. 스코어를 계산하지 않기 때문에 keyword 값을 검색 할 때는 filter 구문 안에 넣는다.
역 인덱스 - Inverted Index
| ID | Text |
| doc1 | the soccer is good |
| doc2 | the soccer is very good |
| doc3 | the soccer is difficult |
| doc4 | the soccer difficult |
| doc5 | the baseball |
일반적으로 관계형 DB에서는 위 내용을 보이는 대로 테이블 구조로 저장한다.
위 테이블에서 soccer가 포함된 행들을 가져온다고 하면 text 열을 한 줄 씩 찾아 내려가면서 soccer 가 있으면 가져오고 없으면 넘어가는 식이다.
엘라스틱 서치는 데이터를 저장할 때 역 인덱스라는 구조를 만들어 저장한다.
| 텀 | ID | 텀 | ID |
| the | doc1 doc2 doc3 doc4 doc5 | soccer | doc1 doc2 doc3 doc4 |
| is | doc1 doc2 doc3 | very | doc2 |
| difficult | doc3 doc4 | baseball | doc5 |
엘라스틱서치에서는 추출된 각 키워드를 텀이라고 부른다.
역 인덱스가 있으면 soccer 를 포함하고 있는 도큐먼트들의 id를 바로 얻어올 수 있다.
엘라스틱서치는 데이터가 늘어나도 역 인덱스가 가리키는 id의 배열값이 추가되는 것뿐이기 때문에 속도의 저하 없이 빠른속도로 검색이 가능하다.
텍스트 분석 - Text Analysis
elasticsearch 에 저장되는 도큐먼트는 모든 문자열 필드 별로 역 인덱스를 생성한다.
elasticsearch에 문자열 필드가 저장될 때 데이터에서 검색어 토큰을 저장하기 위해 여러 단계의 처리 과정을 거친다.
이 전체 과정을 텍스트 분석 이라고 하고 이 과정을 처리하는 기능을 애널라이저라고 한다.
애널라이저는 0~3개 캐릭터 필터와 1개의 토크나이저(Tokenizer) 그리고 0~n 개의 토큰 필터(Token Filter)로 이루어 진다.
텍스트 데이터가 입력되면 가장 먼저 필요에 따라 전체 문장에서 특정 문자를 대치하거나 제거하는데 이 과정을 담당하는 기능이 캐릭터 필터이다.
문장에 속한 단어들을 텀 단위로 하나씩 분리 해 내는 처리 과정을 거치는데 이 과정을 담당하는 기능이 토크나이저이다.
토크나이저는 반드시 1개만 적용이 가능하다.
분리된 텀 들을 하나씩 가공하는 과정을 거치는데 이 과정을 담당하는 기능이 토큰 필터 이다.
토큰 필터는 0개 부터 여러개를 적용할 수 있다.
텀 중에서는 검색어로서의 가치가 없는 단어들이 있는데 이런 단어를 불용어라고 한다.
불용어는 검색어 토큰에서 제외된다.
필요에 따라서 동의어를 추가 하기도 한다.
synonym 토큰 필터를 사용하여 quick 텀에 동의어로 fast를 지정하면 fast 로 검색했을 때도 같은 의미인 quick 을 포함하는 도큐먼트가 검색되도록 할 수 있다.
_analyze
elasticsearch 에서는 분석된 문장을 _analyze API를 이용해서 확인할 수 있다.
토크나이저는 tokenizer , 토큰 필터는 filter 항목의 값으로 입력하면 된다. 토크나이저는 하나만 적용되기 때문에 바로 입력하고, 토큰필터는 여러개를 적용할 수 있기 때문에 배열 형식으로 입력한다.
The quick brown fox jumps over the lazy dog 문장을 whitespace 토크나이저와 lowercase, stop, snowball 토큰 필터를 적용해봤다.
토큰필터 lowercase 는 대문자를 모두 소문자로 바꿔준다. 대소문자 구별없이 검색이 가능하게 된다.
stop은 불용어들을 제거해준다.
snowball은 문법상 변형된 단어를 일반적으로 검색에 쓰이는 기본 형태로 변환하여 검색이 가능하게 한다.
예를들면 jumps , jumping 을 ~s와 ~ing을 제거해서 jump로 변경 된다.
명령어
GET _analyze
{
"text" : "The quick brown fox jumps over the lazy dog",
"tokenizer" : "whitespace",
"filter" : [
"lowercase",
"stop",
"snowball"
]
}
결과
명령어
GET _analyze
{
"text" : "The quick brown fox jumps over the lazy dog",
"analyzer" : "snowball"
}
whitespace 토크나이저 , lowercase, stop, snowball 토큰 필터들을 조합한 것이 snowball 애널라이저 이다.
인덱스에 애널라이저를 지정한다.
명령어
PUT sport_6
{
"mappings": {
"properties": {
"message": {
"type": "text",
"analyzer": "snowball"
}
}
}
}
테스트 데이터를 넣는다
PUT sport_6/_doc/1
{
"message": "The quick brown fox jumps over the lazy dog"
}
결과 : match 쿼리로 jump , jumping 또는 jumps 중 어떤 값으로 검색 해도 결과가 나타난다.
snowball 애널라이저를 거쳐 jumping을 입력해도 jump로 검색한다.
역인덱스에는 jumps 가 아닌 jump로 저장 되어있다.
GET sport_6/_search
{
"query": {
"match": {
"message": "jumping"
}
}
}
Term 쿼리
elasticsearch에서 제공하는 쿼리 중에는 term 쿼리가 있다. match 쿼리와 문법은 유사하지만 term 쿼리는 입력한 검색어는 애널라이저를 적용하지 않고 입력된 검색어 그대로 일치하는 텀을 찾는다.
jumps , jumping 으로 검색하면 결과가 나타나지 않고 jump 로 검색해야 결과가 나타난다.
명령어
GET sport_6/_search
{
"query": {
"term": {
"message": "jumps"
}
}
}
결과
jump로 검색해야만 데이터가 조회된다.
referecence
https://esbook.kimjmin.net/06-text-analysis/6.3-analyzer-1/6.3-analyzer