728x90 ElasticSearch & OpenSearch14 [OpenSearch] Settings, Mapping 설정하기 ElasticSearch 와 AWS OpenSearch 의 settings, mappings 작성 방법은 크게 다르지 않지만, ElasticSearch Settings, Mapping 설정: https://yonikim.tistory.com/26 OpenSearch 의 경우 플러그인 커스텀이 안되기 때문에 nori 가 지원되지 않는다. AWS OpenSearch 에서 사용 가능한 플러그인: https://docs.aws.amazon.com/ko_kr/opensearch-service/latest/developerguide/supported-plugins.html nori 의 조상님인 은전한닢 을 사용하여 만든 settings 는 아래와 같다. ▷ Settings `index.mapping.ignore_m.. 2022. 5. 3. [ElasticSearch] Settings, Mapping 설정하기 Elasticsearch 의 모든 인덱스는 두 개의 정보 단위를 갖고 있는데, 바로 Settings 와 Mapping 이다. ※ Settings 처음 인덱스가 생성될 때 몇가지 정보들이 자동으로 생성되는데, 샤드 수(number_of_shards) 나 복제본 수(number_of_replicas) 같은 정보는 settings 아래 설정된다. analyzer, tokenizer, filter 와 같은 정보도 settings 파일 내부에 정의한다. ※ Mappings Elasticsearch 는 동적 매핑을 지원하기 때문에 미리 정의하지 않아도 인덱스에 도큐먼트를 새로 추가하면 자동으로 매핑이 생성된다. 매핑이 자동으로 생성될 때는 필드의 값을 보고 타입을 예상하는데, 항상 그 필드가 포함될 수 있는 가장 .. 2021. 5. 6. [ElasticSearch] 한글 형태소 분석기 설치하기 한글은 아주 복잡한 언어이다. 특히 복합어, 합성어 등이 많아 하나의 단어도 여러 어간으로 분리해야 하는 경우가 많기 때문에 한글 형태소 분석기 세팅이 필요하다. 오픈 소스 커뮤니티에서 개발되어 Elasticsearch 에서 사용 가능한 한글 형태소 분석기는 다음과 같은 것들이 있다. 1. 아리랑 (arirang) Lucene 형태소 분석기 URL: github.com/korlucene 참고: www.elastic.co/kr/blog/arirang-analyzer-with-elasticsearch 2. 은전한닢 (seunjeon) mecab-ko-dic 기반으로 만들어진 JVM 상에서 돌아가는 한국어 형태소 분석기로, 사전이 패키지 내에 포함되어 있기 때문에 별도로 설치할 필요가 없음 URL: bitbu.. 2021. 5. 3. [Filebeat] docker-filebeat 세팅하고 띄우기 Logstash 를 이용해 파일 input 을 다룰 수도 있지만 서버의 안정을 위하여 Filebeat 를 띄우기로 했다. ※ Logstash vs Filebeat Logstash 는 자원이 많이 필요한 대신 다룰 수 있는 input, output 종류가 많으며, filter 를 사용하여 로그를 분석하기 쉽게끔 구조화 된 형식으로 변환할 수 있다. Filebeat 는 가벼운 대신 가능한 input, output 종류가 한정적이다. (최신 버전에서는 메시지 대기열을 디스크에 저장할 때 영구 대기열에 대해서도 지원한다고 한다!) (참조: https://logz.io/blog/filebeat-vs-logstash/) ※ Filebeat 의 작동 방식은 어떻게 될까? Filebeat를 시작하면 설정에서 지정한 로.. 2021. 4. 29. [OpenSearch] dictionary 추가하기 AWS ES 에는 Elasticsearch 커뮤니티의 플러그인이 미리 포함되어 있기 때문에 bin/elasticsearch-plugin install 명령어를 날려줄 필요가 없다. (워후) 플러그인 전체 목록은 Kibana 의 Dev Tools 에서 아래와 같이 명령어를 날리거나, GET _cat/plugins?v curl 명령어를 통해 확인할 수 있다. $ curl -u ${ES_USER}:${ES_PASSWORD} ${ES_HOST}/_cat/plugins 사용자 사전 추가하기 한글 형태소 분석기로 analysis-seunjeon (은전한닢, mecab) 가 있는데, 형태소 분석기를 아무리 잘 만들어놨다고 해도 한글의 세계는 오묘하고도 어렵기 때문에 사용자 사전을 추가해주는게 좋다. 1. 사용자 사전.. 2021. 4. 23. [Docker-elk] docker-elk 세팅하고 띄우기 원래는 elk를 이용하여 로그를 수집하고 수집한 로그를 이용하여 통계 자료를 만들고 싶었다. 대표님曰: 검색서비스 개선해야 하는데, Elasitcsearch 가 좋다더라. 요니킴曰: 제가 진행해 보겠습니다. 🙋🏻♀️ 검색서비스도 개선하고 원하는 바도 이루기 위해 도입하게 된 docker-elk. ※ ELK 스택 이란? Elasticsearch: JSON 기반의 분산형 오픈 소스 검색 및 분석 엔진, 주로 REST API를 통해 처리한다. Logstash: 여러 소스에서 동시에 데이터를 수집하여 변환한 후, Elasticsearch 같은 "stash"로 전송하는 서버사이드 데이터 처리 파이프라인을 말한다. Kibana: Elasticsearch에서 색인된 데이터를 검색하고 보고 시각화하며 막대 차트, 원.. 2021. 4. 20. 이전 1 2 3 다음 728x90 반응형
