발표 내용의 난이도 | 기본적인 사전지식 필요
대상 | 데이터 엔지니어, 시스템 엔지니어, 백엔드 엔지니어
세션설명
분석 서비스를 위해 게임 로그를 수집하는 데이터 파이프라인 중 하나인 정제 플랫폼을 개발하면서, 어떤 문제점이 도출됐고, 어떻게 해결했는지 공유하고자 합니다. 다양한 게임으로부터 다채로운 로그를 처리하다보니, 정말 변화무쌍하게 데이터가 유입되고 있습니다. 이를 한 곳에서 한 번에 조회할 수 있고 일관성을 보장하기 위해, Data Cleaning, Normalizaiton, Extension, Derivation을 도입하고 있습니다. 일반적인 데이터 파이프라인에 필수 기능은 아닐 수 있지만, 예측되지 않은 데이터를 다루시는 분들께, 데이터 품질을 높이는 과정을 고민하는 분들께 조금이나마 도움이 되었으면 합니다.
NDC 저작권 방침 (펼치기)
테크블로그 문의 devrel@nexon.co.kr