Declarative Feature Engineering at PayPal

원문: Declarative Feature Engineering at PayPal (PayPal Tech, 2023-12-11)

오늘의 결론

내가 오늘 해결하고 싶은 문제는 기계 학습(ML) 피처 개발의 복잡성인데, 원문에서 얻은 구체적 답은 선언적 피처 엔지니어링(declarative feature engineering) 접근 방식으로, 이것이 시간과 비용을 효율적으로 관리할 수 있도록 돕는다는 점이다.

이 글이 "기술 혁신 자랑"이 아닌 이유

원문은 단순한 기술의 우수성을 강조하는 것이 아니라, 피처 엔지니어링을 통해 ML 프로세스를 효율적으로 개선하는 실제적인 방법을 제시한다. 내가 본 것:

1. 피처 개발의 속도(TTM): PayPal의 ML 피처는 효율적인 개발 과정을 통해 빠르게 생산에 배포될 수 있다. 이 접근법은 예측 가능한 시간에 맞춰 비즈니스 요구 사항을 충족할 수 있도록 하는 데 필수적이다.

1. 비용 관리(TCO): 피처 개발에 소요되는 비용을 여러 단계로 나누어 관리함으로써, 다른 팀과의 리소스 공유를 통해 중복 비용을 줄일 수 있다. 이는 투자 수익률(ROI)을 높이는데 기여한다.

1. 자체 서비스 도구 제공: 데이터 과학자들이 피처를 선언적으로 정의하고, 엔지니어의 직접적인 지원 없이도 기능을 구현할 수 있는 환경을 조성함으로써 작업 효율성을 극대화할 수 있다.

내가 가져갈 실행 포인트 3개

(1) 피처의 선언적 정의: 효율적인 협업의 시작

PayPal의 접근 방식처럼 데이터 과학자들이 피처를 선언적으로 정의할 수 있도록 하면, 피처의 재사용성과 협업이 강화된다. 내가 경험한 바로는, 이런 방식이 팀 간의 의사소통과 반복 작업을 줄여줬다. 따라서, 팀 내에서 피처를 명확하게 정의하는 프로세스를 구축하는 것이 중요하다.

(2) 피처 비용 분석: 중복 방지의 필요성

PayPal이 피처 비용을 여러 단계로 나누어 관리하는 것을 보고, 나도 비슷한 방식으로 팀 내 리소스 사용을 최적화할 필요성을 느꼈다. 이를 통해 내가 속한 팀에서도 피처 재사용을 장려하고, 중복된 비용이 발생하지 않도록 팀 전체의 비용 구조를 명확히 분석해야 한다.

(3) 자체 서비스 도구 활용: 엔지니어의 시간 절약

선언적 피처 엔지니어링을 위한 자체 서비스 도구는 엔지니어가 다른 복잡한 프로젝트에 집중할 수 있게 도와준다. 현업에서 엔지니어들이 반복적으로 발생하는 지원 요청에 소모되는 시간을 줄일 수 있도록, 이러한 도구를 적극적으로 활용하는 방법을 모색해야 한다.

내가 설계할 기준

선언적 피처 엔지니어링 접근법으로 보내기 좋은 일

• 단순한 피처 개발: 기본적인 집계나 분류 피처를 생성하는 경우.
• 데이터 팀 간 협업: 여러 팀이 공동으로 사용하는 피처를 개발하는 경우.
• 빠르게 변화하는 비즈니스 요구: 신속하게 피처를 배포해야 하는 상황.

이 기술이 맞지 않는 경우

• 고도로 복잡한 피처 개발: 고급 분석이나 특수한 알고리즘이 필요한 경우.
• 기존 시스템과의 통합: 레거시 시스템과의 호환성 문제가 있는 경우.

실패를 줄이는 운영 체크리스트

• 기존 피처를 재사용하지 않고 새롭게 개발하는 일을 피하라.
• 피처의 정의가 명확하지 않은 경우, 즉시 팀원들과 협의하라.
• 피처의 복잡성을 과대 평가하지 말고, 단순한 형태에서 시작하라.
• 문서화가 부족한 피처는 신속히 개선하라.
• 팀 내에서 피처에 대한 피드백을 주기적으로 수집하라.

이번 주에 할 1가지

• 대상: 현재 진행 중인 ML 프로젝트의 피처 정의 프로세스 검토
• 측정: 피처 정의 문서화와 피드백 수집의 완료 여부
• 성공 기준: 1주일 이내에 피처 정의 문서화가 완료되고, 최소 3명의 팀원으로부터 피드백을 받는 것.

마무리

선언적 피처 엔지니어링은 피처 개발 과정을 간소화하고, 엔지니어의 시간을 절약하여 비즈니스의 민첩성을 높이는 데 기여할 수 있다. 독자 여러분이 기억해야 할 것은, 이러한 접근이 팀 내 협업과 피처 재사용성을 극대화하는 데 중요한 역할을 한다는 점이다. Timeware는 이 같은 문제 해결 순서를 통해 안정적인 운영과 실행 기준을 지향하고 있다.

FAQ

Q. 선언적 피처 엔지니어링의 가장 큰 장점은 무엇인가요?

선언적 피처 엔지니어링의 가장 큰 장점은 데이터 과학자들이 복잡한 구현 세부 사항 없이 피처를 정의할 수 있어, 프로젝트의 시간과 비용을 절감할 수 있다는 점입니다.

Q. 실무 적용 시 가장 많이 막히는 부분은 무엇인가요?

가장 큰 장애물은 기존 시스템과의 통합 문제입니다. 레거시 시스템과의 호환성을 고려하여, 단계적으로 접근하는 것이 필요합니다.

Q. Timeware는 이것을 어떻게 활용하나요?

Timeware는 선언적 피처 엔지니어링을 통해 팀 간의 협업을 강화하고, 피처 개발의 효율성을 높이는 데 중점을 두고 있습니다. 이를 통해 엔지니어의 업무를 경감시키고, 더 혁신적인 프로젝트에 집중할 수 있도록 하고 있습니다.

Q. 이 흐름은 앞으로 어떻게 전개될까요?

앞으로는 AI와 기계 학습 기술의 발전과 함께, 선언적 피처 엔지니어링의 활용이 더욱 넓어질 것으로 보입니다. 기술이 발전하면서 데이터 과학자들이 더 복잡한 문제를 해결할 수 있는 도구와 프로세스가 계속해서 개발될 것입니다.