GPU-Serving Two-Tower Models for Lightweight Ads Engagement Prediction

원문: GPU-Serving Two-Tower Models for Lightweight Ads Engagement Prediction (Pinterest Engineering, 2026-02-13)

오늘의 결론

내가 오늘 해결하고 싶은 문제는 광고 추천 시스템의 효율성을 높이는 것이며, 원문에서 얻은 구체적 답은 GPU 기반의 두 개 타워 모델을 활용하여 모델의 성능과 서빙 지연 시간을 균형 있게 개선할 수 있다는 점입니다.

이 글이 "성능 자랑"이 아닌 이유

이 기술의 핵심은 단순한 성능 향상이 아니라, 광고 추천 시스템에서의 모델 최적화와 서빙 효율성을 높이기 위한 구체적 방법론에 있습니다. 내가 본 것:

1. 두 개 타워 모델: Pinterest에서는 Pin(광고)과 Query(사용자) 각각에 대해 별도의 임베딩을 생성하는 두 개 타워 모델을 도입하였습니다. 이 모델은 오프라인 배치 업데이트를 통해 Pin 임베딩을 계산하고, 실시간으로 Query 임베딩을 생성하여 가장 관련성 높은 광고 후보만을 필터링합니다. 이는 광고 추천의 품질과 효율성을 동시에 향상시킵니다.

1. GPU 서빙의 도입: 이전에는 모든 모델이 CPU에서 서빙되었지만, 2025년부터 GPU 기반 모델이 도입되었습니다. 이를 통해 더 복잡한 모델 아키텍처를 지원하면서도 CPU와 유사한 지연 시간으로 작업을 처리할 수 있게 되었습니다. 이는 모델 복잡성이 증가하더라도 성능 저하 없이 처리할 수 있는 기반을 마련합니다.

1. 효율적인 훈련을 위한 최적화: 모델의 크기와 훈련 FLOPs가 증가함에 따라, 훈련 효율성을 높이기 위한 다양한 최적화가 이루어졌습니다. 예를 들어, 데이터 로더 최적화, GPU에서 직접 메모리 할당을 통해 훈련 속도를 높이고, BF16 정밀도를 사용하여 처리 속도를 향상시키는 등의 방법이 적용되었습니다.

내가 가져갈 실행 포인트 3개

(1) GPU 기반 모델 도입: 효율성 극대화

Pinterest의 GPU 서빙 모델은 성능과 지연 시간의 균형을 맞추는 데 큰 도움이 됩니다. 내가 이 기술을 도입한다면, 광고 추천 시스템의 효율성을 크게 개선할 수 있으며, 이는 결국 더 많은 사용자에게 더 나은 광고 경험을 제공하게 될 것입니다.

(2) 모델 아키텍처 최적화: 특정 도메인에 맞춤

MMOE-DCN 아키텍처는 여러 도메인과 태스크를 효과적으로 처리하는 데 유리합니다. 우리 팀에서도 이러한 아키텍처를 검토하여 특정 광고 카테고리에 맞춤화된 모델을 설계한다면, 보다 정확한 예측 결과를 얻을 수 있을 것입니다.

(3) 훈련 효율성 개선: 속도와 성능 동시 확보

훈련 과정에서의 최적화는 필수적입니다. GPU 프리패치 및 BF16 정밀도 사용과 같은 방법을 통해 훈련 시간을 줄이고 성능을 개선할 수 있습니다. 이러한 접근법을 우리 프로젝트에 적용하면, 빠른 피드백과 더 나은 결과를 얻을 수 있습니다.

내가 설계할 기준

GPU 기반 모델로 보내기 좋은 일

• 대규모 데이터를 처리하는 광고 추천 시스템의 개선
• 실시간 분석이 필요한 비즈니스 인텔리전스 솔루션
• 사용자 맞춤형 추천 서비스를 제공하는 플랫폼

이 기술이 맞지 않는 경우

• 소규모 시스템에서의 과도한 리소스 사용
• 실시간 데이터 처리 필요성이 낮은 기본적인 서비스

실패를 줄이는 운영 체크리스트

• GPU 리소스를 과다하게 할당하지 말 것
• 데이터 전처리 과정에서의 오류를 최소화할 것
• 모델 훈련 중간 결과를 정기적으로 검토할 것
• 팀 내 커뮤니케이션 부족으로 인한 정보 누락을 피할 것
• 훈련 데이터의 품질을 항상 체크할 것

이번 주에 할 1가지

• 대상: GPU 기반의 광고 추천 시스템 모델 프로토타입 개발
• 측정: 모델 훈련 시간 및 예측 정확도를 분석하여 성능 측정
• 성공 기준: 모델 훈련 시간이 20% 단축되고, 예측 정확도가 5% 이상 향상되었을 때 "됐다"고 볼 것

마무리

오늘의 글에서 제시한 GPU 서빙의 두 개 타워 모델은 광고 추천 시스템의 효율성과 성능을 동시에 개선할 수 있는 방안을 제공합니다. Timeware에서는 이러한 기술을 통해 문제 해결의 순서를 체계적으로 정리하고, 운영 안정성을 높이며, 실행 기준을 마련해 나가겠습니다.

FAQ

Q. GPU 기반 모델을 도입하면 어떤 이점이 있나요? GPU 기반 모델을 사용하면 대량의 데이터를 처리하는 속도가 빨라지며, 복잡한 모델 아키텍처를 지원할 수 있어 성능을 극대화할 수 있습니다.

Q. 실무 적용 시 가장 많이 막히는 부분은 무엇인가요? GPU 리소스 관리와 모델 훈련 과정에서 발생하는 오버헤드 문제는 종종 막히는 부분입니다. 이를 해결하기 위해 최적화된 훈련 파라미터를 사용하는 것이 중요합니다.

Q. Timeware는 이것을 어떻게 활용하나요? Timeware는 GPU 기반 모델을 광고 추천 시스템에 활용하여 사용자에게 더 적합한 광고를 제공하며, 이를 통해 비즈니스 성과를 향상시키고 있습니다.

Q. 이 흐름은 앞으로 어떻게 전개될까요? GPU와 머신러닝 기술의 융합은 앞으로 더 많은 기업의 광고 추천 시스템에 적용될 것이며, 이는 개인화된 사용자 경험을 제공하는 데 큰 도움이 될 것입니다.