Langflix 쇼츠 추천 시스템 8주 개발기

쇼츠 추천 시스템을 8주간 개발하면서 진행한 분석과 의사결정에 대해서 돌아보며 회고를 작성해 보고자 합니다.

오래 보게 하는 추천에서 학습을 유도하는 추천으로​

일반적인 쇼츠 추천 시스템에서는 보통 더 오래 보게 만드는 것을 우선적인 과제로 삼지만, 이번 프로젝트에서는 Langflix가 영어 학습 어플인 만큼 유저의 학습을 유도하는 것을 더 우선적인 목표로 삼고자 하였습니다. 사용자가 영상을 오래 보는 것 이상으로 사용자가 학습 행동을 하는 경우에 더 큰 가중치를 두어 모델을 설정하고 구성하였습니다.

추천 모델을 위한 데이터 기반 만들기​

처음에는 추천 시스템을 구성하는 과정에서 가장 핵심적인 부분은 주어진 데이터로 좋은 모델을 구성하여 이를 통해 추천 로직을 설정하는 과정이라고 생각했습니다. 허나 프로젝트를 진행하며 추천 시스템 모델에서 더 나아가 모델 외적으로도 중요한 포인트가 더 많았던 것을 느꼈습니다. 먼저 영상의 개인화 추천을 위해서는 영상에 적절한 임베딩을 사용하는 것이 중요했습니다. 이를 위하여 임베딩 로직을 적절히 설정한 뒤 콘텐츠 벡터를 새롭게 생성하였고, 클러스터링 같은 경우에도 새로운 로직으로 구성하여 저장하는 로직을 구현해 보았습니다. 추가적으로 영상 적재 시점에 구성 단어들을 CEFR 사전을 통해 난이도를 계산하여 적재하도록 코드를 구현하였습니다.

사용자 이력에 따른 점진적 개인화​

추천 시스템의 모델 설계 자체도 최초에 생각했던 부분과는 결과가 다르게 나타났습니다. 하나의 완성된 모델을 만들려고 했던 최초의 목표와는 다르게, 기존에 우선적으로 사용하려던 Two-Tower 모델의 형태가 초기 유저들에게 부정확한 추천이 이루어질 수 있다는 문제로 인해 시청 이력이 적은 사용자들에 대해 Content-Based Filtering을 활용한 모델을 추가하게 되었습니다. 유저의 개인화를 진행할 수 있는 시점을 구분하여 점진적 개인화를 진행하는 모델이었는데, 충분한 이력이 쌓인 뒤에는 복잡한 Neural Net으로 계산된 유저의 취향을 Two-Tower 모델을 통해 도출해 내는 구조였습니다.

추천 시스템을 만들며 배운 점​

프로젝트를 진행하면서 배울 점이 많았다고 생각합니다.

모델만큼 중요했던 운영​

첫째로 추천 모델을 만드는 것에 더해 운영하는 것의 중요성입니다. 프로젝트를 진행하면서 모델 구성만큼 많은 시간을 쓴 부분은 실제 환경에서 기존의 시스템에 맞게 동작하도록 만드는 일이었습니다. 신규 영상이 들어오면 임베딩과 클러스터가 자동으로 만들어져야 했고, 학습된 모델과 아이템 벡터는 AWS DynamoDB에 배포되어야 했습니다. CBF에서 사용한 영상별 순위도 일정 주기로 갱신하는 시스템을 만들어 갱신되는 데이터에 맞춰 각 영역들이 재계산되어 최신의 데이터로 추천 시스템이 동작하게 해야 했습니다. 이에 대비한 fallback system을 설계하는 과정도 진행했습니다. 데이터 생성, 버전 관리, fallback, 모니터링, A/B 테스트 연계까지 연결되어야 하나의 추천 시스템이 된다는 것을 알게 되었습니다.

협업을 위한 공통 기준​

둘째로 팀 단위 협력을 진행함에 있어 공통된 기준의 설정입니다. 최초에 프로젝트를 진행함에 있어 목표 지표를 설정하는 일을 가장 먼저 진행했습니다. 유저의 영상 시청 로그에 대해 무엇을 '좋은 반응'으로 볼지 정의한 뒤에 모델의 점수와 지표 계산을 하였는데, 팀 내에서 각자의 역할에 맞춰 추천 시스템을 만드는 과정에서 이러한 공통의 지표 설정이 프로젝트에 도움이 많이 되었습니다. 또한 최종 배포한 추천 시스템에서 세 가지 모델에 모두 공통된 eligibleItems를 설정하여 각 모델이 이를 통해 동일한 후보를 ranking하도록 하였습니다. 유저 단위로 추천 가능한 목록을 먼저 설정한 다음에 추천 시스템과 연결을 시킴으로써 나중에 어떤 모델을 선택하더라도 문제없이 돌아가도록 설정하는 과정이었습니다. 팀원들 간의 공통된 기준으로 '추천 가능한 쇼츠 전체 목록'을 만들었습니다.

아쉬운 점과 다음 과제​

프로젝트에서 아쉬운 점도 존재합니다. 온라인 실험을 충분히 진행하지 못했고, 각 추천 시스템 모델의 학습 행동 유도 효과와 리텐션을 검증하지 못했습니다. 난이도 역시 현재는 안전장치에 가깝고, 사용자마다 적응형 난이도를 설정하려면 더 개선이 필요합니다. 그럼에도 Langflix의 추천 시스템을 개선하면서 유저의 시청 유도에서 더 나아가 표현 저장과 발화 연습까지 이어지고, 자연스럽게 다음 학습을 유도하려면 어떤 점이 필요한지 많이 생각해 볼 수 있었습니다. 추천 시스템 프로젝트를 진행하면서 많은 점을 배웠고, 무엇보다 사측의 직원분들이 도움을 많이 주셔서 성장할 수 있었다고 생각합니다.