ELK 검색 결과

해당 글 27건

[자연어 검색 개발기 #4] 스트리밍, 추천, 그리고 회고

3편까지 검색이 어떻게 이루어지는지 다뤘습니다. 이번 편에서는 검색 결과를 어떻게 실시간으로 보여줬는지, OpenAI를 추가로 호출하지 않고 개인화 추천을 어떻게 만들었는지, 그리고 전체 프로젝트를 돌아본 소감으로 마무리하겠습니다. 왜 응답을 스트리밍했나처음엔 검색 결과와 AI 응답 문장을 한 번에 묶어서 반환했습니다. 그런데 실제로 써보니 문제가 있었습니다. AI가 응답 문장을 만드는 데 시간이 걸리다 보니, 검색 결과가 이미 준비됐는데도 사용자는 그동안 아무것도 못 보고 기다려야 했습니다.그래서 두 단계로 나눴습니다.검색 결과를 먼저 즉시 전송 (사용자는 상품 카드부터 바로 확인)AI 응답 문장은 토큰 단위로 이어서 스트리밍 (타이핑되듯 보여줌)Server-Sent Events(SSE)로 이 두 이벤..
ELK 2026. 7. 13. 11:20

[자연어 검색 개발기 #3] 벡터 검색과 키워드 검색, 뭘 더 믿어야 할까

2편에서 사용자 문장을 검색용 문장·키워드·태그로 구조화하는 과정을 다뤘습니다. 이번 편에서는 이렇게 구조화된 정보를 가지고 벡터 검색과 키워드 검색을 어떻게 결합했는지 정리합니다. 왜 하나만 쓰면 안 됐나처음엔 "벡터 검색만 쓰면 되지 않나" 싶었습니다. 의미 기반 검색이니 웬만한 건 다 커버될 거라 생각했는데, 실제로 테스트해보니 문제가 있었습니다."나이키 후드티" 같은 브랜드명·상품명 정확 매칭은 벡터 검색이 오히려 약했습니다. 의미가 비슷한 다른 상품이 끼어드는 경우가 많았습니다.반대로 "시원한 여름 셔츠"처럼 의미를 해석해야 하는 질의는 키워드 검색(BM25)만으로는 한계가 명확했습니다. "시원한"이라는 단어가 상품명에 그대로 없으면 못 찾습니다.결국 "정확히 뭘 찾는지 아는 질의"에는 키워드 ..
ELK 2026. 7. 12. 11:14

[자연어 검색 개발기 #2] LLM에게 "의도"부터 물어보게 만들기

지난 편에서 전체 아키텍처를 잡았으니, 이번 편에서는 파이프라인의 첫 두 단계 의도 분류와 키워드/태그 추출를 실제로 어떻게 구현했는지 다뤄보겠습니다. 왜 의도 분류부터 해야 했나처음엔 "그냥 다 검색으로 처리하면 되지 않나?" 싶었습니다. 그런데 실제 사용자 발화를 가정해보니 그렇게 단순하지 않았습니다."봄에 입기 좋은 티셔츠 추천해줘" → 상품 검색"나한테 어울리는 옷 좀 골라줘" → 검색이 아니라 개인화 추천 (구체적 상품 언급이 없음)"제 주문 어디까지 왔어요?" → 검색이 아니라 주문 조회"안녕하세요" → 그냥 인사이 네 가지를 전부 벡터 검색으로 밀어넣으면, 인사말에도 애매한 상품이 검색 결과로 튀어나오는 이상한 경험이 생깁니다. 그래서 요청이 들어오면 가장 먼저 "이게 무슨 의도인지"부터 L..
ELK 2026. 7. 11. 10:34

[자연어 검색 개발기 #1] "AI로 뭐라도 만들어봐라"는 과제, 자연어 검색을 붙이기로 했다

배경회사에서 AI를 실제 서비스에 활용해보라는 과제를 받았습니다. 막연히 "AI로 뭘 해볼까" 고민하다가, 우리 패션 이커머스 플랫폼의 검색 기능을 자연어 기반으로 개선해보기로 했습니다. 기존 키워드 검색의 한계는 명확했습니다."린넨 소재 셔츠"는 찾지만 "시원한 여름 셔츠"는 못 찾음"드라이클리닝 제외" 같은 부정 조건을 표현할 방법이 없음"오피스룩"이라는 표현이 셔츠·재킷·블라우스 중 뭘 의미하는지 시스템이 모름개인화 추천이 아예 없어서, 모든 사용자에게 같은 인기 상품만 노출됨사용자가 "드라이클리닝 안 해도 되는 루즈한 자켓", "오늘 뭐 입지?" 처럼 자연스럽게 검색하고, 시스템이 의도를 파악해 검색·추천·주문조회까지 알아서 처리하는 걸 목표로 잡았습니다. 기술 스택 선정새로 배우는 스택이 많았..
ELK 2026. 7. 10. 09:03

Elasticsearch CircuitBreaker GC 관련

최근 사내에서 검색엔진인 엘라스틱서치 클러스터 중 하나의 노드가 다운되고 샤드가 옮겨지는 과정에서 검색 API 지연이 발생하였습니다. 노드는 바로 올라와 크게 지연은 있지 않았지만 비정상 종료이기 때문에 해당 서버와 노드의 지표를 찾아보았고 Heap Memory가 가득 차면서 CircuitBreaker가 발생하고 종료된 걸 확인할 수 있었습니다. 노드가 다운되는 시점과 GC Old 영역의 쌓여있던 객체를 정리하는 시점과 동일했기 때문에 해당 과정이 원인이라 생각하게 되었고 GC가 발생하게 된 대용량 색인이나 검색 요청이 있었는지 확인해 보았지만 크게 이상은 없어 정확한 원인을 찾지 못했습니다... 2023.10.26 - [ELK] - Elasticsearch Essential 트러블 슈팅 사례 Elast..
ELK 2023. 10. 26. 16:29

Elasticsearch Essential 트러블 슈팅 사례

인프런 Elasticsearch Essential 트러블 슈팅 사례 강의를 참조하여 작성했습니다. #1 클러스터 상태가 Green이 아닌 상태 Green - 프라이머리 샤드, 레플리카 샤드 모두 정상적으로 각 노드에 배치되어 동작하고 있는 상태. Yellow - 프라이머리 샤드는 정상적으로 동작하지만 일부 레플리카 샤드가 정상적으로 배치되지 않은 상태. - 색인 성능에는 이상 없지만 검색 성능에는 영향을 줄 수 있음. Red - 일부 프라이머리 샤드와 레플리카 샤드가 정상적으로 배치되지 않은 상태. - 색인 성능, 검색 성능에 모든 영향을 주며 문서 유실이 발생할 수 있음. Yellow 혹은 Red 상태에 따른 영향도 어떤 인덱스에 따라 장애가 아닐 수 있기 때문에 정확한 장애 범위를 파악해야 함. GE..
ELK 2023. 10. 26. 15:58

Elasticsearch 커스텀 분석기 만들기 (1)

플러그인 TokenFilter, Tokenizer, Analyzer, RestHandler 등록 코드를 작성 TodoPlugin Elasticsearch 플러그인을 개발하기 위해서 Plugin 클래스 상속받습니다. AnalysisPlugins 인터페이스를 구현하면 Elasticsearch에서 사용 가능한 텍스트 분석 관련 요소를 등록할 수 있습니다.(TokenFilters, Tokenizers, Analyzers) 각 관련 기능 메서드를 재정의하여 호출하도록 변경이 필요합니다. ActionPlugin 인터페이스를 구현하면 Elasticsearch에서 사용할 수 있는 Action을 등록할 수 있습니다. public class TodoPlugin extends Plugin implements Analysis..
ELK 2023. 9. 25. 16:30

Elasticsearch 커스텀 분석기 만들기 (이슈)

Caused by: java.lang.ClassNotFoundException: org.apache.logging.log4j.core.config.properties.PropertiesConfigurationFactory 플러그인과 es를 같이 실행할때 발생한 에러 입니다. Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/logging/log4j/core/config/properties/PropertiesConfigurationFactory at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:90) Caused by: java.lang.ClassNotFoun..
ELK 2023. 9. 20. 08:37

Elasticsearch 커스텀 분석기 만들기

현재 사내에서는 검색 품질을 향상 시키기 위해 Elasticsearch 검색 엔진에 여러 개의 플러그인을 사용하고 있습니다. 이러한 플러그인은 Elasticsearch 클러스터에 추가적인 기능을 제공하기 위해 개발된 확장 모듈로, Elasticsearch의 기능을 확장하거나 사용자 지정 기능을 추가하기 위해 사용됩니다. 이 중에서도 오픈 소스 플러그인과 커스텀 플러그인이 있습니다. 오픈 소스 플러그인은 analysis-icu를 사용 중에 있습니다. 2023.09.18 - [ELK] - ICU플러그인과 Suggest쿼리를 사용해 제안 검색어 만들기 ICU플러그인과 Suggest쿼리를 사용해 제안 검색어 만들기 사내에서 제안 검색어를 사용하는 방법에 대해 작성해 보겠습니다. 우선 플러그인으로는 analysi..
ELK 2023. 9. 19. 16:54

ICU플러그인과 Suggest쿼리를 사용해 제안 검색어 만들기

사내에서 제안 검색어를 사용하는 방법에 대해 작성해 보겠습니다. 우선 플러그인으로는 analysis-icu와 QueryDsl의 Suggest를 사용합니다. analysis-icu 분석 플러그인은 ICU(Interational Components for Unicode) 라이브러리를 사용하여 아시아 언어에 대한 향상된 분석, 유니코드 정규화, 유니코드 인식 대소문자 접기, 대조 지원 및 음역을 포함하여 확장된 유니코드 지원을 추가합니다. analysis-icu 분석 플러그인은 문자 필터, 토크나이저, 토큰 필터를 제공하는데 그중 문자 필터인 icu_normalizer를 사용하겠습니다. 플러그인 설정 name 정규화의 종류를 지정. nfc(normalization Form C)는 문자열을 정규화할 때 모든 조..
ELK 2023. 9. 18. 13:19