Using LLMs to amplify human labeling and improve Dash search relevance

원문: Using LLMs to amplify human labeling and improve Dash search relevance (Dropbox Tech, 2026-02-26)

오늘의 결론

"내가 오늘 해결하고 싶은 문제는 검색 결과의 품질을 향상시키는 것이며, 원문에서는 인공지능과 인간 라벨링을 조합하여 이를 달성하는 방법을 제시하고 있습니다."

이 글이 "단순한 기술 소개"가 아닌 이유

내가 본 것: Dash의 검색 품질을 개선하기 위해서는 단순히 LLM(대규모 언어 모델)이나 인간 라벨링 중 하나에 의존하는 것이 아니라, 두 가지를 적절히 혼합하여 활용해야 한다는 점입니다.

1. [검색 결과의 품질]: Dash는 사용자가 질문을 입력하면 관련 정보를 검색하여 응답을 생성합니다. 이 과정에서 LLM이 검색된 결과를 분석하여 가장 관련성 높은 답변을 만들어냅니다. 따라서 LLM의 도움을 받으면 검색 결과의 질이 한층 더 높아질 수 있습니다.

1. [모델 학습 방식]: Dash의 검색 순위 모델은 XGBoost와 같은 기계 학습 기법을 사용하여 훈련됩니다. 이는 수작업으로 조정된 규칙이 아닌, 라벨이 붙은 쿼리-문서 쌍에서 학습하여 에러를 줄이는 데 효과적입니다. 이런 방식은 우리가 실무에서 유용하게 활용할 수 있는 중요한 방법론입니다.

1. [인간 라벨링의 중요성]: 검색 결과의 품질을 높이기 위해서는 인간의 라벨링이 반드시 필요합니다. 이는 LLM이 생성한 평가와 함께 보완적으로 작용하여 더 나은 검색 결과를 만들어내는 데 기여합니다. 결국, LLM과 인간 라벨링의 시너지가 필요하다는 점에서, 이 두 가지 접근 방식을 혼합해야 효과적입니다.

내가 가져갈 실행 포인트 3개

(1) 검색 데이터 라벨링 강화: [효율적 툴 활용]

LLM을 활용하여 대량의 검색 데이터에 대한 라벨링 작업을 자동화하는 것이 중요합니다. 기계 학습 모델이 잘 작동하기 위해서는 신뢰할 수 있는 라벨이 필요하기 때문입니다. 시간을 절약하고 라벨링의 일관성을 높이는 방법으로 LLM을 도입하는 것을 고려해야 합니다.

(2) 사용자 행동 분석: [검색 결과 개선의 기초]

사용자 행동에서 얻는 신호를 분석하는 것은 매우 유용합니다. 클릭 수나 스킵된 결과를 통해 어떤 검색 결과가 효과적인지를 판단할 수 있습니다. 그러나 이러한 행동 데이터는 LLM과의 결합을 통해 더욱 강력한 인사이트를 제공할 수 있습니다.

(3) 지속적 피드백 루프 생성: [모델 개선의 핵심]

검색 모델의 성능을 지속적으로 개선하기 위해서는 피드백 루프를 구축해야 합니다. 사용자 피드백을 통해 라벨의 정확성을 높이거나 검색 결과의 품질을 점검할 수 있습니다. 사용자 의견을 정기적으로 수집하고 이를 모델 개선에 반영하는 것이 중요합니다.

내가 설계할 기준

이 기술로 보내기 좋은 일

• 새로운 검색 시스템 구축 시
• 기존 시스템의 성능을 개선할 필요가 있는 경우
• 데이터 라벨링 작업을 보다 효율적으로 진행하고자 할 때

이 기술이 맞지 않는 경우

• 사용자 행동 데이터가 부족한 상황
• 소규모 데이터셋으로만 운영하는 경우

실패를 줄이는 운영 체크리스트

• LLM의 출력이 항상 정확하다고 믿지 말 것
• 라벨링 과정에서 인간의 판단을 배제하지 말 것
• 사용자 행동 분석 데이터를 소홀히 하지 말 것
• LLM과 인간 라벨링의 균형을 맞추지 못할 것
• 검색 모델의 성능 모니터링을 게을리하지 말 것

이번 주에 할 1가지

• 대상: LLM을 활용한 데이터 라벨링 프로세스를 도입하기
• 측정: 라벨링에 소요된 시간과 품질 기준을 설정하여 비교할 것
• 성공 기준: 다음 주 내로 라벨링 시간이 감소하고 품질이 향상되었다고 판단되면 성공으로 간주

마무리

검색 결과의 품질을 높이기 위해서는 LLM과 인간 라벨링의 조화를 이루는 것이 핵심입니다. 이는 Timeware가 문제 해결에 있어 예측 가능성과 실행 가능성을 모색하는 관점과도 일맥상통합니다. 최적화된 검색 시스템은 결국 더 나은 업무 환경을 만들어주고, 이는 기업의 생산성을 높이는 데 기여할 것입니다.

FAQ

Q. LLM과 인간 라벨링의 조합이 왜 중요한가요?

LLM은 대량의 데이터를 빠르게 처리하고 예측할 수 있지만, 인간의 판단이 필요하므로 두 가지가 함께 사용될 때 검색 결과의 품질이 높아집니다.

Q. 실무 적용 시 가장 많이 막히는 부분은 무엇인가요?

주로 데이터의 품질이나 양이 부족하여 LLM이 제대로 작동하지 못하는 경우가 많습니다. 이에 대한 해결책을 마련하는 것이 중요합니다.

Q. Timeware는 이것을 어떻게 활용하나요?

우리는 LLM을 데이터 라벨링에 활용하여 검색 시스템을 개선하고 있으며, 사용자 행동 데이터를 분석하여 지속적으로 모델을 업데이트하고 있습니다.

Q. 이 흐름은 앞으로 어떻게 전개될까요?

LLM의 발전과 함께 데이터 라벨링의 방식이 점점 더 자동화되고, 이는 검색 시스템의 성능을 더욱 향상시키는 방향으로 나아갈 것입니다.