분류 전체보기 검색 결과

해당 글 132건

Kafka 학습하기_브로커와 클러스터

[인프런 - 아파치 카프카 애플리케이션 프로그래밍]주키퍼 앙상블- 주키퍼는 분산 애플리케이션을 위한 중앙 집중식 서비스로, 카프카의 메타데이터 관리 및 브로커의 상태를 유지시킴.- 카프카 3.0부터는 주키퍼가 없어도 클러스터 동작 가능.카프카 클러스터- 여러 브로커로 구성된 클러스터로, 주키퍼와 연동하여 메시지를 관리, - 주키퍼는 브로커들의 상태를 감시하고, 장애가 발생하면 클러스터의 균형을 유지하도록 도와줌. 브로커의 역할  - 하나의 서버나 인스턴스 위에서 동작함 - 1개로도 기본 기능 실행 가능 - 3개 이상의 브로커 서버를 1개의 클러스터로 묶어 운영 - 데이터를 안전하게 분산 저장하고, 복제해 장애로부터 가용성 확보 가능 - 컨트롤러 클러스터의 다수 브로커 중 한 대가 컨트롤러의 역할을 한다...
MQ 2024. 6. 1. 17:52

Kafka 학습하기_장단점

[인프런 - 아파치 카프카 애플리케이션 프로그래밍]  작년 11월에 이직하여 현재 근무하고 있는 이커머스 회사에서 서비스를 파악하면서 개선해보고 싶은 내용이 있어 Kafka 학습을 시작하였습니다. 개선점현재 사내에서 상품 정보를 변경 시에 처리하는 로직은 두 가지 방식이 있습니다. 1. 변경이 일어나 상품정보에 수정이 필요한 데이터들을 수정 처리. 2. 스케줄러를 통해 변경된 데이터를 주기적으로 감지 후 처리. 위 두가지 방식의 문제점 1. 단일 프로세스 부하 증가. - 하나의 프로세스에서 여러 작업을 처리하다 보니 시스템의 부하 증가. 이는 성능 저하, 트래픽이 많은 시기에는 다른 서비스에도 영향을 줄 수 있음.2. 비효율 적인 자원 사용. - 스케줄러를 통해 변경된 데이터를 주기적으로 감지하고 처리하..
MQ 2024. 6. 1. 16:16

Elasticsearch CircuitBreaker GC 관련

최근 사내에서 검색엔진인 엘라스틱서치 클러스터 중 하나의 노드가 다운되고 샤드가 옮겨지는 과정에서 검색 API 지연이 발생하였습니다. 노드는 바로 올라와 크게 지연은 있지 않았지만 비정상 종료이기 때문에 해당 서버와 노드의 지표를 찾아보았고 Heap Memory가 가득 차면서 CircuitBreaker가 발생하고 종료된 걸 확인할 수 있었습니다. 노드가 다운되는 시점과 GC Old 영역의 쌓여있던 객체를 정리하는 시점과 동일했기 때문에 해당 과정이 원인이라 생각하게 되었고 GC가 발생하게 된 대용량 색인이나 검색 요청이 있었는지 확인해 보았지만 크게 이상은 없어 정확한 원인을 찾지 못했습니다... 2023.10.26 - [ELK] - Elasticsearch Essential 트러블 슈팅 사례 Elast..
ELK 2023. 10. 26. 16:29

Elasticsearch Essential 트러블 슈팅 사례

인프런 Elasticsearch Essential 트러블 슈팅 사례 강의를 참조하여 작성했습니다. #1 클러스터 상태가 Green이 아닌 상태 Green - 프라이머리 샤드, 레플리카 샤드 모두 정상적으로 각 노드에 배치되어 동작하고 있는 상태. Yellow - 프라이머리 샤드는 정상적으로 동작하지만 일부 레플리카 샤드가 정상적으로 배치되지 않은 상태. - 색인 성능에는 이상 없지만 검색 성능에는 영향을 줄 수 있음. Red - 일부 프라이머리 샤드와 레플리카 샤드가 정상적으로 배치되지 않은 상태. - 색인 성능, 검색 성능에 모든 영향을 주며 문서 유실이 발생할 수 있음. Yellow 혹은 Red 상태에 따른 영향도 어떤 인덱스에 따라 장애가 아닐 수 있기 때문에 정확한 장애 범위를 파악해야 함. GE..
ELK 2023. 10. 26. 15:58

Elasticsearch 커스텀 분석기 만들기 (1)

플러그인 TokenFilter, Tokenizer, Analyzer, RestHandler 등록 코드를 작성 TodoPlugin Elasticsearch 플러그인을 개발하기 위해서 Plugin 클래스 상속받습니다. AnalysisPlugins 인터페이스를 구현하면 Elasticsearch에서 사용 가능한 텍스트 분석 관련 요소를 등록할 수 있습니다.(TokenFilters, Tokenizers, Analyzers) 각 관련 기능 메서드를 재정의하여 호출하도록 변경이 필요합니다. ActionPlugin 인터페이스를 구현하면 Elasticsearch에서 사용할 수 있는 Action을 등록할 수 있습니다. public class TodoPlugin extends Plugin implements Analysis..
ELK 2023. 9. 25. 16:30

Elasticsearch 커스텀 분석기 만들기 (이슈)

Caused by: java.lang.ClassNotFoundException: org.apache.logging.log4j.core.config.properties.PropertiesConfigurationFactory 플러그인과 es를 같이 실행할때 발생한 에러 입니다. Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/logging/log4j/core/config/properties/PropertiesConfigurationFactory at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:90) Caused by: java.lang.ClassNotFoun..
ELK 2023. 9. 20. 08:37

Elasticsearch 커스텀 분석기 만들기

현재 사내에서는 검색 품질을 향상 시키기 위해 Elasticsearch 검색 엔진에 여러 개의 플러그인을 사용하고 있습니다. 이러한 플러그인은 Elasticsearch 클러스터에 추가적인 기능을 제공하기 위해 개발된 확장 모듈로, Elasticsearch의 기능을 확장하거나 사용자 지정 기능을 추가하기 위해 사용됩니다. 이 중에서도 오픈 소스 플러그인과 커스텀 플러그인이 있습니다. 오픈 소스 플러그인은 analysis-icu를 사용 중에 있습니다. 2023.09.18 - [ELK] - ICU플러그인과 Suggest쿼리를 사용해 제안 검색어 만들기 ICU플러그인과 Suggest쿼리를 사용해 제안 검색어 만들기 사내에서 제안 검색어를 사용하는 방법에 대해 작성해 보겠습니다. 우선 플러그인으로는 analysi..
ELK 2023. 9. 19. 16:54

ICU플러그인과 Suggest쿼리를 사용해 제안 검색어 만들기

사내에서 제안 검색어를 사용하는 방법에 대해 작성해 보겠습니다. 우선 플러그인으로는 analysis-icu와 QueryDsl의 Suggest를 사용합니다. analysis-icu 분석 플러그인은 ICU(Interational Components for Unicode) 라이브러리를 사용하여 아시아 언어에 대한 향상된 분석, 유니코드 정규화, 유니코드 인식 대소문자 접기, 대조 지원 및 음역을 포함하여 확장된 유니코드 지원을 추가합니다. analysis-icu 분석 플러그인은 문자 필터, 토크나이저, 토큰 필터를 제공하는데 그중 문자 필터인 icu_normalizer를 사용하겠습니다. 플러그인 설정 name 정규화의 종류를 지정. nfc(normalization Form C)는 문자열을 정규화할 때 모든 조..
ELK 2023. 9. 18. 13:19

es_rejected_execution_exception 처리하기

아래 오류 로그는 사내에서 운영하고 있는 ES 클러스터에서 reindex를 진행하면서 발생한 에러 로그입니다. (아래 로그는 reindex task id를 받아 확인한 내용입니다.) 해당 에러를 처리하기 위해 트러블 슈팅 한 내용을 적어보려고 합니다. { "shard" : -1, "status" : 429, "reason" : { "type" : "es_rejected_execution_exception", "reason" : "rejected execution of org.elasticsearch.common.util.concurrent.TimedRunnable@79b3110f on QueueResizingEsThreadPoolExecutor[name = es7/search, queue capacity..
ELK 2023. 9. 12. 16:20

Elasticsearch Golang Client 사용하기

사내에서 Elasticsearch 검색엔진의 검색API를 Golang으로 운영중입니다. Pagination Search 비교를 하기 위해서 작성했던 코드를 기록하려고 합니다. Go의 장단점 장점 - Go는 Java와 달리 기계 코드로 변환하는 과정이 없는 컴파일 언어입니다. (Java 보다 성능이 좋습니다.) - 고루틴(Goroutine)이라는 비동기 작업 처리용 경량 스레드가 있습니다. - 고는 C와 유사한 문법을 가지며, 간결한 문법으로 빠르게 코드를 작성할 수 있습니다. 단점: - 상대적으로 새로운 언어로, Java처럼 다양한 라이브러리와 생태계가 아직 충분히 확립되지 않았습니다. - 모든 제너릭 기능이 완전히 구현되지 않았기 때문에 코드의 재사용성을 확보하는데 한계가 있을 수 있습니다. (Go 언..
Go 2023. 8. 25. 09:52