Stateful workload operator: stateful systems on Kubernetes at LinkedIn

원문: Stateful workload operator: stateful systems on Kubernetes at LinkedIn (LinkedIn Engineering, date-n/a)

오늘의 결론

내가 오늘 해결하고 싶은 문제는 Kubernetes에서 상태가 있는 애플리케이션을 관리하는 복잡성을 줄이는 것이며, 이를 위해 LinkedIn의 Stateful Workload Operator가 제공하는 새로운 접근법을 통해 더 나은 운영 효율성을 얻을 수 있다는 점이다.

이 글이 "성능 자랑"이 아닌 이유

이 글은 단순히 성능을 자랑하는 것이 아니라, 상태가 있는 애플리케이션을 Kubernetes 환경에서 효과적으로 관리하기 위한 실질적인 운영 방안을 제시한다.

내가 본 것:

1. 상태가 있는 애플리케이션의 복잡성: LinkedIn은 상태가 있는 시스템의 운영에서 발생하는 복잡성을 강조하며, 기존의 Kubernetes StatefulSet이 이러한 복잡성을 충분히 해결하지 못한다고 밝혔다. 이는 여러 아키텍처와 고유한 수명 관리 요구사항을 가진 상태가 있는 애플리케이션의 특성을 반영한다.
2. 전통적인 접근법의 한계: StatefulSet의 사용은 기술적으로 가능하지만, LinkedIn은 이를 통해 얻는 이점이 미미하다는 점을 강조했다. 이는 특히 애플리케이션의 수명 주기 관리에 있어 패치워크 솔루션이 아닌 보다 일관된 시스템을 필요로 한다는 것을 의미한다.
3. 협력적 스케줄링 모델: LinkedIn의 Application Cluster Manager(ACM)는 운영자가 배포 또는 유지 관리 작업을 안전하게 진행할 수 있도록 보장하는 협력적 스케줄링 모델을 통해 애플리케이션 클러스터의 건강을 유지하는 방안을 제시한다. 이는 운영 안정성을 높이는 중요한 요소로 작용한다.

내가 가져갈 실행 포인트 3개

(1) 상태 관리의 중요성: 안정성 확보

LinkedIn은 상태가 있는 애플리케이션의 수명 주기 관리가 중요하다고 강조한다. 데이터베이스와 같은 시스템에서 단 하나의 인스턴스가 존재할 때, 그 인스턴스의 손실은 데이터 손실이나 다운타임으로 이어질 수 있다. 따라서 내 경험에서도 상태 관리의 중요성을 뼈저리게 느끼며, 나 역시 이러한 원칙을 바탕으로 애플리케이션 아키텍처를 설계해야 한다.

(2) 커스터마이징의 필요성: 유연한 운영

LinkedIn은 모든 상태가 있는 애플리케이션이 공통의 오퍼레이터를 공유하지만, 애플리케이션별 커스터마이징은 외부 정책 엔진을 통해 처리한다고 설명한다. 이 방식은 내 팀에서도 적용할 수 있음을 인지하게 되며, 다양한 애플리케이션 요구 사항을 충족할 수 있는 유연한 운영 방안을 마련해야 한다.

(3) 협력적 접근 방식: 건강한 클러스터 유지

ACM과 같은 협력적 스케줄링 모델은 애플리케이션 클러스터의 건강을 유지하는 데 중요한 역할을 한다. 이를 통해 운영자는 보다 안전하게 배포 및 유지 관리 작업을 진행할 수 있다. 나는 이와 같은 협력적 접근 방식을 내 팀에서도 적극적으로 도입하여, 안정적인 시스템 운영을 도모해야 한다.

내가 설계할 기준

이 기술을 적용하기 좋은 일

• 대규모 상태가 있는 애플리케이션 운영
• 다양한 요구사항을 가진 복잡한 애플리케이션 관리
• Kubernetes 환경에서의 유연한 리소스 관리

이 기술이 맞지 않는 경우

• 단순한 상태 없는 애플리케이션 운영
• 고정된 아키텍처를 가진 시스템

실패를 줄이는 운영 체크리스트

• 상태 관리의 중요성을 간과하지 말 것
• 커스터마이징 없이 일률적인 솔루션을 적용하지 말 것
• 클러스터의 건강 상태를 지속적으로 모니터링하지 말 것
• 협력적 접근 방식을 무시하지 말 것
• 기술적 한계를 무시하여 패치워크 솔루션에 의존하지 말 것

이번 주에 할 1가지

• 대상: Kubernetes 클러스터에서 상태가 있는 애플리케이션의 상태 관리 방안 검토
• 측정: 새로운 관리 방안을 적용 후 클러스터의 응답 시간 및 가용성 모니터링
• 성공 기준: 1주일 내에 클러스터의 안정성이 90% 이상 유지될 때 "됐다"고 볼 것

마무리

Kubernetes에서 상태가 있는 애플리케이션을 효과적으로 관리하는 것은 복잡성이 높지만, LinkedIn의 Stateful Workload Operator와 같은 혁신적인 접근 방식을 통해 그 가능성을 열어갈 수 있다. 운영 안정성과 실행 기준을 마련하여, 더욱 효과적인 시스템 관리를 실현해야 한다는 점을 기억하자.

FAQ

Q. Kubernetes에서 상태가 있는 애플리케이션을 관리할 때 가장 자주 생기는 문제는 무엇인가요?

상태가 있는 애플리케이션은 수명 주기 관리가 복잡하며, 데이터 손실이나 다운타임을 초래할 수 있는 리스크가 큽니다. 따라서 이를 관리하기 위한 체계적인 접근이 필요합니다.

Q. 실무 적용 시 가장 많이 막히는 부분은 어떤 점인가요?

애플리케이션의 요구 사항에 맞는 커스터마이징을 마련하는 것이 가장 큰 도전 과제가 됩니다. 각 애플리케이션의 특성을 이해하고 적절한 솔루션을 설계하는 데에 상당한 노력이 필요합니다.

Q. Timeware는 이것을 어떻게 활용하나요?

Timeware에서는 상태가 있는 애플리케이션의 운영에서 안정성을 확보하기 위해 Kubernetes의 StatefulSet을 보완할 수 있는 솔루션을 검토 중입니다. 또한, 협력적 접근 방식을 통해 운영 효율성을 높이려는 노력을 기울이고 있습니다.

Q. 이 흐름은 앞으로 어떻게 전개될까요?

앞으로는 Kubernetes의 발전과 함께 상태가 있는 애플리케이션 관리의 복잡성을 해결할 수 있는 다양한 솔루션들이 등장할 것으로 예상됩니다. 더 나아가, 자동화와 인공지능을 통한 운영 효율성이 강조될 것입니다.