Table of contents
들어가며
광고는 기업의 성장과 떼어놓을 수 없는 대표적인 경영 전략 중 하나입니다. 기업은 자사의 제품을 시장에 홍보하거나 새로운 정보를 전달하기 위해 광고를 활용하며, 이 과정에서 막대한 광고비를 지출하곤 합니다.
막대하고도 한정적인 광고 예산을 효율적으로 활용하기 위해 기왕이면 우리의 브랜드를 좋아하고, 광고를 통해 반응할만한 오디언스에게만 광고를 보여줄 수는 없을까요? 또 한편으로는 스팸(불특정 다수의 사용자에게 무차별적으로 발송하는 홍보 목적의 광고)의 어원을 고려할 때 광고가 오디언스에게 끼칠 부정적 영향 또한 간과할 수 없습니다. 그렇다면 오디언스에게 신중히 접근하기 위해선 어떤 솔루션이 필요할까요?
이번 포스트에선 업리프트 모델링(Uplift Modeling)을 통해 앞선 질문에 답하고, 머신러닝이 효율적인 광고 집행에 어떻게 기여할 수 있는지 살펴보도록 하겠습니다.
1. 업리프트 모델링(Uplift Modeling) 이란?
업리프트 모델이 가장 크게 이목을 끌었던 2012년 美 대선 사례를 인용하여 소개하고자 합니다.
불리한 여건 가운데 열세로 평가되던 오바마 당시 후보와 그의 선거단은 그 어느 때보다도 효율성에 집중하지 않을 수 없었습니다. 선거단의 데이터사이언티스트 대니얼 포터는 한정적인 자원을 효율적으로 활용하면서도 지지도를 높이기 위한 방법으로 유권자 개인 단위의 예측을 목표했으며, 최대한 많은 사람에게 홍보 메시지를 전달하는 데 초점을 맞추던 기존의 선거운동 관행과는 달리 '누구에게 홍보 메시지를 전달할 것인가'에 초점을 맞춘 새로운 선거운동 패러다임을 제시하게 됩니다.
이때 적용된 기술이 바로 업리프트 모델입니다. 테스트 차원에서 실시했던 간이 여론 조사를 통해 오바마의 연설을 접한 그룹과 그렇지 않은 그룹 간의 후보 지지도 차이가 5%p나 발생했음을 파악할 수 있었으며, 이 결과에 가계, 인구통계, 정치 데이터를 더해 각각의 유권자들에게 점수를 부여하는 일련의 예측 모델을 개발할 수 있었습니다. 업리프트 모델의 궁극적인 목적은 롬니 공화당 후보에게 지지 의사가 기울었지만, 오바마의 유세를 접할 경우 기꺼이 그에게 투표할 유권자들(persuadables)을 정확히 짚어내는 것이었으며, 동시에 롬니 후보를 강건히 지지하는 유권자들을 식별함으로써 그들에 대한 필요 이상의 노력과 비용 낭비를 사전에 방지하는 것이었습니다. 실제로 선거단은 투표일 직전 업리프트 모델을 통해 식별된 persuadables 유권자들을 대상으로 집중적인 표적 캠페인을 시행했으며, 이는 예상을 뒤엎는 결과를 견인했습니다.
이처럼 선호·비선호 성향을 기반으로 개인 단위의 반응을 예측하는 업리프트 모델은 예측의 주체가 전략적으로 접근할 대상과 피해야 할 대상을 식별하는 데 도움을 줍니다. 해당 모델을 통해 구분되는 주요 성격별 그룹은 아래와 같습니다.
그림1 : 업리프트 사분면 (※ 처치 = 선거 운동)
구분 | 성격 | 요구 조치 |
Lost causes | 처치 여부와 상관없이 절대 전환하지 않는 그룹 | 비용이 동반되는 처치에선 제외한다. |
Persuadables | 처치가 없을 경우 전환하지 않지만, 처치를 이뤄질 경우 전환할 그룹 | 주요 표적 대상. 처치 대상에 포함한다. |
Sleeping dogs | 처치가 이뤄질 때 오히려 전환하지 않는 그룹 | 처치 대상에서 반드시 제외한다. |
Sure things | 아무런 처치가 이뤄지지 않더라도 전환할 그룹 | 비용이 동반되는 처치에선 제외한다. |
대표 사례로 정치 캠페인의 케이스가 등장하여 실무 적용과는 크게 동떨어져 보일 수 있으나, 업리프트 모델은 타겟 정의와 세그멘테이션이 중요하게 작용하는 광고·마케팅 분야에서 큰 효력을 발휘할 수 있습니다.
그렇다면 게임 광고에 업리프트 모델링이 왜 필요할까요?
유저 타게팅 효율 향상에 기여할 수 있기 때문입니다. 오롯이 마케터의 감과 관례에 의존해 오디언스 선별이 이뤄질 경우 대체로 준수한 수준의 성과를 기대할 수는 있으나, 여전히 많은 노이즈 오디언스(광고 대상에서 제외되어야 할 오디언스 또는 광고 노출이 무의미한 대상) 를 포함할 우려가 있습니다. 반면, 업리프트 모델의 도입은 명확한 수치 기준을 근거로 오디언스 구분 과정에 객관성을 더해줍니다.
목적 | 업리프트 모델 적용 전 | 업리프트 모델 적용 후 | |
시나리오1 | 기획된 광고 소재에 잘 반응할 것으로 예상되는 오디언스 선별 | 기존 집행 관례 또는 커먼센스를 바탕으로 조건에 부합하는 유저를 추출
(ex / A퀘스트 2회 이상 클리어한 유저) | uplift 사분면에 근거해 Persuadables유저 추출 |
시나리오2 | 예산 절감을 위한 한정 규모 오디언스 선별 | 정량적 기준에 근거한 상위 n% 추출 or 하위 n% 제외
(ex / 레벨 상위 30% 유저,
경험치 하위 40%를 제외한 전체 유저) | 수치로 나타나는 uplift score를 기준으로 순위를 부여한 후 순위에 따라 포함·제외 대상을 명확하게 구분 |
2. 적용
이하 내용은 리타게팅(retargeting) 캠페인 집행에 기반합니다.
이제 오바마 선거단의 업리프트 모델 적용 사례를 우리 서비스에 대입해보도록 합시다. 캠페인 진행 플로우는 아래와 같습니다.
그림2 : 업리프트 모델 적용 캠페인 집행 절차
2-1. 전환 기준 선정
먼저 전환의 기준을 정하는 것이 캠페인 설계의 첫 단추입니다. 전환 기준에 따라 광고 대상의 성질은 물론 캠페인의 성격까지 완전히 달라질 수 있기 때문입니다. 이번 적용 예시에선 전환을 '복귀'로 정의하여 모델링을 진행하고자 합니다. 이에 따라 오디언스는 자연스럽게 서비스 이탈 유저로 정의됩니다.
오디언스 | 처치 | 전환 | |
오바마 선거단 사례 | 대선 유권자 | 선거 운동 | 오바마 투표 |
넥슨 사례 | 이탈 유저 | 게임 광고 | 게임 복귀 |
전환의 기준은 서비스 운영 전략 및 광고 캠페인 전략에 따라 달라질 수 있으며, 기대하는 결과에 따라 아이템 구매, 이벤트 참여 등 다양한 기준을 설정할 수 있습니다. 단, 전환은 개별 오디언스 단위로 발생해야만 하며, 개별 전환 여부를 데이터로 파악할 수 있어야 합니다.
2-2. 테스트 캠페인 집행
포터가 예측 모델을 만들기 위해 사전 여론 조사를 시행하고 결과 데이터를 수집했던 것처럼 테스트 캠페인 집행은 실전 캠페인에 적용될 예측 모델을 개발하기 위한 학습 데이터 수집 절차로 볼 수 있습니다.
테스트 캠페인 처치 | 테스트 캠페인 전환 측정 방안 | 전환 | |
오바마 선거단 사례 | 정책 연설 | 사전 여론 조사 | '오바마 지지' 응답 |
넥슨 사례 | 사전 타게팅 광고 집행 | 접속 로그 분석 | 게임 복귀 |
광고에 노출된 오디언스와 노출되지 않은 오디언스 간의 전환 성과 차이 파악이 필요하므로, 실험 오디언스를 동질한 두 그룹 즉, 타겟군과 대조군으로 분할한 뒤 타겟군에 한정해 테스트 광고를 노출 시킵니다. 만약 광고가 오디언스로 하여금 유의미한 변화를 유도했더라면 두 그룹의 전환율은 뚜렷한 차이를 나타낼 것입니다. 이는 '광고가 전환을 유도할 것'이라는 매우 기본적인 가설을 입증한 것으로 볼 수 있으므로, 광고 처치의 효율을 신뢰한 채로 예측 모델링을 진행하기에 무리가 없습니다. (단, 타겟군의 전환율이 대조군보다 높아야만 광고 처치가 유의미했다고 해석할 수 있습니다. 반대의 경우는 오히려 광고의 부작용을 의심해봐야 합니다.)
그림3 : 테스트 캠페인 집행 개요
2-3. 모델링
광고로 인해 발생한 두 그룹 간의 유의미한 전환율 차이가 확인되었다면 이제는 나타난 차이를 근거로 예측 모델을 생성할 차례입니다. 세부 단계는 데이터 수집 및 전처리 → 학습 및 예측 → uplift score 획득 순으로 진행됩니다.
데이터 수집 및 전처리
테스트 캠페인을 통해 획득한 유저별 전환 정보는 예측 모델을 통해 최종적으로 알고자 하는 결과를 의미하며, 모델링 관점에서 볼 때 y label에 해당합니다. 즉, 이전 단계까지의 진행을 통해 획득한 정보는 유저 index와 y label이 전부인 셈입니다. 모델 학습을 위해선 설명 변수가 필요하므로 유저별 인구통계 데이터와 인게임 로그 데이터를 종합적으로 수집도록 합니다.
설명 변수 | 종속 변수 | |
오바마 선거단 사례 | 정치, 가계, 인구통계 등 | 오바마 지지 or 롬니 지지 응답 |
넥슨 사례 | 인구통계 데이터 및 인게임 데이터 (접속, 과금, 이벤트 참여, 퀘스트 참여 등) | 게임 복귀 or 미복귀 |
이후 원활한 모델 학습이 이뤄지도록 피쳐 엔지니어링 (결측치 제거, 스케일링, 어그리게이션 등 기타 전처리) 작업을 수행합니다.
그림4 : 전처리가 완료된 데이터프레임 예시
모델 학습
이번 포스트에서 구현할 업리프트 모델 파이프라인 구성 방안은 'Two models approaches' 로 타겟군 데이터와 대조군 데이터를 각각 학습시켜 독립적인 두 모델을 생성한 후 조합하여 최종 결괏값을 산출하는 방식을 따릅니다.
타겟 모델 학습 대상 | 컨트롤 모델 학습 대상 | |
오바마 선거단 사례 | 정책 연설 청취자 | 정책 연설 미청취자 |
넥슨 사례 | 테스트 광고 노출 유저 | 테스트 광고 미노출 유저 |
광고 처치가 이뤄졌을 때의 전환 여부를 예측하기 위한 모델 즉, 타겟 모델 생성을 위해선 테스트 캠페인의 타겟군 데이터만을 피팅하며, 광고 처치와 관계없이 자연(Organic) 전환 여부를 예측할 수 있는 컨트롤 모델 생성을 위해선 대조군의 데이터만을 피팅합니다. 본 예시에선 LGBM Classifier를 적용하여 분류 예측을 시행하였으나, 예측 확률값(predict_proba)을 획득할 수만 있다면 데이터 성격에 따라 다른 분류 모델을 선택할 수 있으며, 자체적인 하이퍼파라미터 튜닝을 통해 예측 성능을 개선할 수도 있습니다.
본 과정에선 테스트 캠페인 테이터의 90%를 학습에 적용했으며, 예측 및 검증을 위해 10%의 오디언스 데이터를 별도로 분리하였습니다.
그림5 : 예측 모델 학습
모델 예측 및 uplift score 획득
사전에 분리한 10%의 데이터를 모델에 적용해 간이 예측을 수행해볼 수 있습니다. 컨트롤 모델과 타겟 모델은 각각 자연 전환 여부와 광고 처치에 따른 전환 여부를 판별하므로, 두 경우의 결과를 모두 관찰하기 위해선 한 오디언스 그룹에 대해 각각의 모델을 통한 별개의 예측이 진행되어야만 합니다. 이후 각 모델을 통해 반환되는 probability 값을 차감 연산함으로써 처치 유무에 따른 유저별 전환율 편차를 관찰할 수 있습니다.
그림6 : uplift score 산출
차감 연산을 통해 얻어진 결괏값을 uplift score라고 하며, uplift score는 -1 이상 1 이하의 실수로 표현됩니다. uplift score가 1에 가까울수록 광고 효과가 크게 작용하는 유저로 이해할 수 있으며, 0 또는 -1로 수렴한다면 각각 광고가 전환에 큰 영향을 미치지 못하거나, 오히려 부작용을 유발할 수 있는 유저로 이해할 수 있습니다
그림7 : uplift score 산출 예시
2-4. 실전 캠페인 적용 및 평가
이제 드디어 실전 캠페인 오디언스 분류에 모델을 적용해볼 차례입니다. 이때, 명심해야 할 점은 모델링을 위해 집행되었던 테스트 캠페인의 성격과 실전 캠페인의 성격이 동일하거나 유사해야 한다는 점입니다. 앞서 완성된 모델은 테스트 캠페인의 메세지 또는 보상에 한해 반응하고 전환하는 유저들의 특성을 반영한 모델입니다. 따라서 학습된 사례를 바탕으로 모델의 예측 성능이 온전히 발휘되기 위해선 전환 가정을 최대한 유사하게 조성하는 것이 좋습니다.
가령 테스트 광고의 키 메시지가 복귀에 따른 A아이템 지급이었다면, 테스트 광고 시 반응했던 유저는 A아이템에 흥미가 있는 유저일 가능성이 높으며, 해당 전환 사례를 학습한 예측 모델은 A아이템에 관심 가지고 전환할 만한 성격의 유저를 탐색하는 모델로 볼 수도 있습니다. 만약 실전 캠페인에선 전혀 다른 메세지와 보상을 제시하거나, 전혀 다른 성격의 전환을 유도할 경우 모델은 학습하지 못한 특이 상황에 대해 성능을 보장하기 어렵습니다.
아래와 같이 실제 광고 집행 상황을 가정하여 모델에 대입하고, 평가해보도록 하겠습니다.
•
광고 대상 : 서비스 이탈 유저
•
광고 목적(전환 목표) : 서비스 복귀
•
광고 유형 : 리타게팅 배너 광고
•
오디언스 규모 : 50,000명
•
1인당 광고비 : 100원
•
1인당 복귀 기대 수익 : 1,000원
•
예측
앞서 생성된 업리프트 모델을 통해 오디언스의 전환 여부를 예측한 후 획득된 uplift score로 분포 그래프를 그려보도록 합니다.
그림8 : uplift score 분포도
다행히 대다수(약 80%) 유저의 uplift score가 0.0 이상을 기록함으로써 광고가 오디언스로 하여금 전환에 긍정적인 영향을 끼칠 것이라고 나타내고 있습니다. X축 0.0을 기준으로 꼬리가 오른쪽으로 길게 뻗은 Positive skewness 분포를 통해 대체적인 광고의 순영향을 유추할 수 있으며, 반대로 꼬리가 왼쪽으로 길게 뻗은 Negative skewness 분포가 나타난다면 대다수가 오히려 광고 처치가 없었을 때 전환할 확률이 더 높음을 의미하므로 광고의 부정적 효과를 의심해봐야 할 것입니다.
분류
업리프트 모델 예측을 통해 얻어진 개별 uplift score를 기준으로 50,000명의 전체 오디언스를 아래와 같이 네 개의 세그먼트로 구분할 수 있습니다.
오디언스 규모 | |
Persuadables | 25,322 |
Sure things | 10,349 |
Sleeping dogs | 9,412 |
Lost causes | 4,917 |
분류 이론에 따르면 앞서 집행되었던 캠페인 오디언스 중 실질적인 광고 증대 효과를 기대할 수 있는 규모는 전체 중 51%(25,322명)에 해당하며, 21%(10,349명)의 오디언스는 광고로부터 격리되어야 함을 나타냅니다. 광고비 가정에 따라, 업리프트 미적용 시엔 50,000명의 오디언스를 대상으로 5,000,000원의 광고비를 지출하겠지만, 업리프트 모델에 근거해 Persuadables 유저들에게만 광고를 집행할 경우 49% 절감된 2,532,200원의 광고비만을 지출하게 됩니다.
평가
끝으로 예측 모델을 통해 가상의 전환 성과를 집계하고, 광고 효율을 측정해보도록 하겠습니다. (이때 전환 예측은 앞서 생성한 전환 예측 모델뿐 아니라, Reach Rate, CTR 등 기타 요인을 복합적으로 고려하여 진행되었습니다.)
오디언스 규모 | 타겟 모델 전환 예측
(복귀 유저수) | 컨트롤 모델 전환 예측
(복귀 유저수) | 예측 편차
(타겟 모델 전환수 - 컨트롤 모델 전환수) | |
Persuadables | 25,322 | 11,233 | 1,641 | 9,592 |
Sure things | 10,349 | 4,216 | 4,000 | 216 |
Sleeping dogs | 9,412 | 226 | 3,390 | -3,164 |
Lost causes | 4,917 | 350 | 347 | 3 |
업리프트 모델 적용 시엔 Persuadables 그룹에 한해 광고를 집행하므로, 11,233명 전환에 따른 11,233,000원의 수익이 예상되는 반면, 미적용 시엔 전 그룹 대상의 광고를 통해 16,025명 전환과 그에 따른 16,025,000원의 수익이 예상되어 오히려 모델을 적용하지 않는 편이 더 우세해 보일 수 있습니다. 하지만 광고 성과를 정확히 측정하기 위해선 광고비 지출과 더불어 비용 대비 효율을 함께 살펴봐야 합니다.
업리프트 모델 미적용 | 업리프트 모델 적용 | |
광고 집행 대상 | Persuadables , Sure things , Sleeping dogs ,Lost causes | persuadable |
광고비 | 5,000,000원 | 2,532,200원 |
전환수 | 16,025명 | 11,233명 |
수익 | 16,025,000원 | 11,233,000원 |
손실 | -3,164,000원 | 0원 |
이익 | 7,861,000원 | 8,700,800원 |
ROAS | 321% | 444% |
광고 ROI | 157% | 344% |
1인당 전환 단가 | 312원 | 225원 |
먼저, 업리프트 모델 미적용 사례의 경우 전 집단으로부터 발생한 수익에서 광고비 지출과 Sleeping dogs 집단 노출에 따른 손실을 차감하면 최종적으로 7,861,000원의 이익을 기대할 수 있다는 결론에 이르게 됩니다.
한편, 업리프트 모델 적용 사례의 경우 Persuadables 집단에 한해 광고를 집행하므로 부작용 집단에 대한 손실을 피할 수 있어 수익으로부터 절감된 광고비 지출만을 차감하여 기대 이익을 산출할 수 있습니다. 결과적으로 모델 미적용 시 대비 약 11% 더 큰 8,700,800원의 순이익을 기대할 수 있으며, 투자 대비 효율 지표인 ROI를 통해 효율이 무려 2배 이상 증대될 수 있음을 확인할 수 있습니다.
나가며
지금까지 업리프트 모델의 게임 광고 적용 사례에 대해 살펴보았습니다. 본문의 사례에선 명확한 개념 전달을 위해 극단적으로 Persuadables 그룹에만 온전히 집중하는 광고 전략을 보여주었으나, 전환수 최대화만을 목표할 경우 Persuadables 과 더불어 타 그룹 오디언스를 모두 포함하는 것이 더 마땅할 수 있으며, 광고 비용 지출이 없다면 Sure things 그룹까지 포함하는 방향이 오히려 더 효과적일 수도 있습니다. 다시 말해, 캠페인 목적에 따라 타게팅 전략이 달라질 수 있으며, 이에 대한 판단은 기술 적용에 앞서 구체적인 마케팅 플랜 하에 이뤄져야할 것입니다.
더불어 본문의 사례에선 전환의 기준을 복귀로 한정해 나타냈으나, 캠페인 의도에 따라 전환의 기준을 아이템 구매, 이벤트 참여처럼 다양하게 응용할 수도 있습니다.
응용 예시
•
리텐션 상승 : 이탈 예측 모델을 통해 감지된 잠재적 이탈 유저 중 광고 캠페인 처치를 통해 잔존시킬 수 있을 만한 유저만을 대상으로 선별적 캠페인을 집행한다.
•
교차 판매 : 이전 구매 이력을 바탕으로 특정 상품 추천 시 추가 구매가 발생할만한 상품들을 광고한다. 이때, 광고 처치 없이도 자연 구매가 이뤄질 상품은 광고 상품에서 제외한다.
Reference
[4] scikit-uplift
[5] 仕事ではじめる機械学習 第2版
함께 읽으면 좋은 포스트 
테크블로그 문의 devrel@nexon.co.kr