앞선 애드테크에 대한 포스팅에서 알 수 있듯이, 애드테크의 근간은 ‘데이터’입니다. 때문에 애드테크 회사인 매드업은 현재 여러가지 광고 매체의 광고 성과 데이터를 수집하고 있습니다.
이러한 데이터는 시시때때로 광고 운영 인사이트를 도출하기 위한 ‘애드혹 분석(Ad-hoc Analysis)’에도 활용되기도 하고, 스태틱하고 정기적으로 진행되는 ‘광고 성과 리포팅’에도 활용됩니다. 오늘은 후자와 관련하여 쿼리 기반 분석도구인 Amazon Athena를 AE들의(어쩌면 모든 마케터들에게) 숙명이라고 할 수 있는 ‘데일리 성과 리포트’ 추출에 활용하고 있는 이야기를 해볼까 합니다.
앞서 말씀드렸다시피 매드업에서는 페이스북, 구글 등 여러 매체에서 제공하는 API를 통해 광고 데이터를 수집하고 있습니다. 매드업은 수집에 걸리는 시간과 데이터를 처리하는 복잡성을 단축하기 위해 JSON, CSV, TSV 등 API를 통해 전달되는 데이터 형식 그대로 AWS의 스토리지 서비스인 Amazon S3에 저장하고 있습니다.
맨 처음에는 데이터 분석가들에게 가장 친숙한 파이썬 라이브러리 중 하나인 ‘Pandas’를 활용하여 리포트를 생성했습니다. Pandas의 용도가 데이터 조작과 분석인 만큼, 데이터를 전처리하거나 여러 데이터를 조인하여 리포트를 만드는 데도 전혀 문제가 없었습니다. 데이터 정제 요구사항을 취합하여 코드로 구현하였고, AWS Lambda를 통해 데일리로 리포트가 생성 되었습니다. 생성된 광고주별 데일리 성과 리포트는 AE들에게 메일로 전달되었죠. 이러한 과정을 통해 이전에는 매체 대시보드에서 데이터를 직접 다운로드 받아서, 엑셀로 로드하고 리포트를 만들던 반복적인 작업 시간의 상당 부분이 단축되었습니다.
하지만 Pandas를 통한 리포트 생성은 개발적인 측면에서는 한계점이 있었습니다. 코드 기반의 리포트 생성 자체가 개발한 사람에게 의존도가 높다는 문제가 있기 때문입니다. 수정 요청이 잦은 업무임에도 불구하고 개발팀 내에는 Pandas를 활용해본 사람이 없어 담당자(나..?)만이 새로운 요청 사항을 반영할 수 있었습니다. 또한 개발한 사람의 역량에 따라 코드의 성능 자체가 좌지우지 될 수 있다는 문제도 있었죠.
이러한 단점을 극복하기 위해 저희는 한발을 더 내딛어야 했습니다! 그리고 Amazon Athena를 통해 리포트를 만들기로 결정 했습니다. 고려한 사항들은 다음과 같습니다.
수집된 원본 데이터는 S3에 다양한 형식으로 저장되어있다.
=> Data Lake의 특성을 활용할 수 있어야 한다.
수집하는 데이터의 컬럼이 쉽게 변동될 수 있다.
=> Data Lake의 특성을 활용할 수 있어야 한다.
리포트를 수정해야 하는 일이 잦다.
=> SQL처럼 보편적인 언어이면 좋겠다.
요구사항에 따라 데이터를 처리하는 복잡도가 올라갈 수 있다.
=> SQL처럼 누가 개발하더라도 성능이 어느정도 보장된 언어이면 좋겠다.
Amazon Athena는 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 간편하게 분석할 수 있는 서비스입니다. S3에 있는 데이터의 스키마를 정의하고 테이블을 만들어준 후에 원하는 쿼리를 날리면 바로 결과가 떨어지는 아주 간편한 사용법으로 동작합니다. 특히 빅데이터 쿼리 엔진인 Presto 기반의 서비스로, 대용량의 데이터를 조인하고 복잡한 분석에도 굉장히 빠른 속도를 지닌 장점을 가지고 있습니다. Tableau 등 BI 툴에서도 Athena를 쉽게 연동 할 수 있어 S3 데이터를 쉽게 조회할 수 있습니다.
이제 저희는 S3에 저장된 데이터들을 Athena를 통해 리포트로 만들고 있습니다. 광고주별, 매체별로 필요한 쿼리를 다양하게 작성하고, 쿼리를 실행해주는 Lambda를 통해 리포트 데이터를 데일리로 추출하고 있는데요. SQL로는 구현하기 힘든 데이터 파싱이 필요한 경우에는 python을 통해 데이터를 처리하고 다시 S3에 저장하여 이를 활용하고 있습니다. Athena는 사용 방법이 심플하고, SQL을 안다면 누구나 접근하기 쉽다는 장점이 있습니다. 그럼 Athena를 시작하는 방법을 간단하게 알아볼까요?
먼저, Athena를 사용하려면 Amazon S3에 데이터를 저장해야 합니다.
Athena를 사용하시려면 S3에 저장할 때 부터 ‘파티셔닝’ 기능을 염두하고 경로를 지정하여 저장하는 것이 좋습니다. 파티셔닝을 사용하면 쿼리의 WHERE 절에서 스캔할 데이터를 한정지을 수 있습니다. Athena는 쿼리를 수행할때 스캔한 데이터의 양에 따라 과금이 되기 때문에, 성능을 높이고 비용을 절감하기 위한 필수 기능이라고 할 수 있습니다. Athena는 데이터 파티셔닝에 Hive를 활용한다고 합니다.
데일리 리포트의 경우 일자를 기준으로 쿼리를 하는 경우가 잦기 때문에 year, month, day를 파티션 키로 지정해보도록 합시다. 아래와 같은 방식으로 S3 경로에 키를 지정하면 설정된 key가 열 이름이 되고, 지정한 key를 바탕으로 분할된 데이터에 쿼리를 사용할 수 있습니다.
s3://madup-bucket/advertiser_0001/google_ads/year=2020/month=04/day=01
만약 저장할 때부터 위와 같은 규칙을 사용하지 않았다면, ALTER TABLE ADD PARTITION을 사용하여 별도로 각 파티션을 추가해야합니다.
그 다음, 스키마를 정의해줘야 하는데요. JSON 형식의 데이터로 예시를 들어보겠습니다. S3에 다음과 같은 JSON 데이터가 들어있다고 해봅시다.
{
"customer_id":"madup_customer_0001",
"campaign":"display_campaign_0001",
"impressions":11680,
"clicks":72,
"cost":8145.456242,
"date":"2020-04-01"
}이러한 데이터를 advertiser_0001_google_ads라는 이름의 테이블로 만들고 싶다면, 아래와 같은 DDL을 사용해서 스키마를 지정해주면 됩니다. 지원하는 데이터 타입은 이 페이지를 참고하세요.
CREATE EXTERNAL TABLE IF NOT EXISTS madup_db.advertiser_0001_google_ads (
customer_id string,
campaign string,
impressions int,
clicks int,
cost double,
date date
) PARTITIONED BY (
year int,
month int,
day int
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' LOCATION 's3://madup-bucket/advertiser_0001/google_ads/' TBLPROPERTIES ('has_encrypted_data'='false')여기서, 파티션에 대한 정보를 PARTITIONED BY 이후에 포함해줘야 LOCATION에 지정해놓은 경로 하위의 폴더를 쿼리할 수 있으니 주의하세요.
만일 데이터를 저장할 때, S3 경로에 key를 명시해놓지 않았다면 테이블 생성 후에 아래와 같이 수동으로 파티션을 만들어 줘야 합니다.
ALTER TABLE madup_db.advertiser_0001_google_ads ADD PARTITION (year='2020',month='04',day='01') LOCATION 's3://madup-bucket/advertiser_0001/google_ads/2020/04/01'파티션 정보를 DDL에 포함하여 실행했다고 가정하고, 쿼리를 날려볼까요?
SELECT *
FROM madup_db.advertiser_0001_google_ads
WHERE year=2020 AND month=04 AND day=01아무런 결과도 나오지 않습니다… DDL을 실행한 후 파티션에 데이터가 로드되지 않아서인데요. MSCK REPAIR TABLE madup_db.advertiser_0001_google_ads 라는 쿼리를 실행한 후 다시 시도해보시면, 쿼리가 잘 수행되는 것을 확인 할 수 있습니다.
Athena의 쿼리 결과는 기본적으로 S3 버킷에 저장됩니다. 버킷의 위치를 지정해놓지 않으면 AWS가 자동으로 생성한 버킷에 저장되니 참고하세요.
더 자세하고 심도깊은 사용법은 공식 사용 설명서를 참고해보시면 좋을 것 같습니다.
이번 포스팅에서는 Athena를 도입하게 된 과정과 간단한 사용법에 대해 알아봤는데요. Amazon Athena는 S3를 데이터 레이크로 활용하고 있다면 상당히 유용한 분석도구라고 생각합니다. 다음에 기회가 된다면 더 깊숙한 Athena 사용 에피소드를 포스팅 해보도록 하겠습니다.
<매드업>은 개인정보보호법에 따라 이용자의 개인정보 보호 및 권익을 보호하고 개인정보와 관련한 이용자의 고충을 원활하게 처리할 수 있도록 다음과 같은 처리방침을 두고 있습니다.
<매드업>은 회사는 개인정보처리방침을 개정하는 경우 웹사이트 공지사항(또는 개별공지)을 통하여 공지할 것입니다.
○ 본 방침은 2020년 1월 15일부터 시행됩니다.
개인정보의 처리 목적 <매드업>은 개인정보를 다음의 목적을 위해 처리합니다. 처리한 개인정보는 다음의 목적 이외의 용도로는 사용되지 않으며 이용 목적이 변경될 시에는 사전동의를 구할 예정입니다.
가. 홈페이지 회원가입 및 관리 회원 가입의사 확인, 회원제 서비스 제공에 따른 본인 식별·인증, 회원자격 유지·관리, 제한적 본인확인제 시행에 따른 본인확인, 서비스 부정이용 방지, 만14세 미만 아동 개인정보 수집 시 법정대리인 동의 여부 확인, 각종 고지·통지, 고충처리, 분쟁 조정을 위한 기록 보존 등을 목적으로 개인정보를 처리합니다.
나. 민원사무 처리 민원인의 신원 확인, 민원사항 확인, 사실조사를 위한 연락·통지, 처리결과 통보 등을 목적으로 개인정보를 처리합니다.
다. 재화 또는 서비스 제공 물품배송, 서비스 제공, 청구서 발송, 콘텐츠 제공, 맞춤 서비스 제공, 본인인증, 연령인증, 요금결제·정산 등을 목적으로 개인정보를 처리합니다.
라. 마케팅 및 광고에의 활용 신규 서비스(제품) 개발 및 맞춤 서비스 제공, 이벤트 및 광고성 정보 제공 및 참여기회 제공 , 인구통계학적 특성에 따른 서비스 제공 및 광고 게재 , 서비스의 유효성 확인, 접속빈도 파악 또는 회원의 서비스 이용에 대한 통계 등을 목적으로 개인정보를 처리합니다.
개인정보 파일 현황
가. 개인정보 파일명 : 개인정보 처리방침
개인정보 항목 : 이메일, 휴대전화번호, 비밀번호, 이름, 업체명, 제목, 광고 예산, 내용, 사업자 등록 번호, 신용카드정보, 은행계좌정보, 예금주, 생년월일, 서비스 이용 기록, 접속 로그, 쿠키, 접속 IP 정보, 결제기록
수집방법 : 홈페이지, 계약서
보유근거 : 홈페이지 회원정보 수집 등에 관한 기록
보유기간 : 5년
관련법령 : 대금결제 및 재화 등의 공급에 관한 기록 : 5년
개인정보의 처리 및 보유 기간 ① <매드업>은 법령에 따른 개인정보 보유·이용기간 또는 정보주체로부터 개인정보를 수집 시에 동의 받은 개인정보 보유,이용기간 내에서 개인정보를 처리,보유합니다. ② 각각의 개인정보 처리 및 보유 기간은 다음과 같습니다.
가. <홈페이지 회원가입 및 관리> <홈페이지 회원가입 및 관리>와 관련한 개인정보는 수집.이용에 관한 동의일로부터<5년>까지 위 이용목적을 위하여 보유.이용됩니다.
보유근거 : 홈페이지 회원정보 수집 등에 관한 기록
관련법령 : 대금결제 및 재화 등의 공급에 관한 기록 : 5년
예외사유 :
나. <재화 또는 서비스 제공> <재화 또는 서비스 제공>와 관련한 개인정보는 수집.이용에 관한 동의일로부터<5년>까지 위 이용목적을 위하여 보유.이용됩니다.
보유근거 : 계약 또는 청약철회 등에 관한 기록
관련법령 : 계약 또는 청약철회 등에 관한 기록 : 5년
예외사유 :
다. <마케팅 및 광고에의 활용> <마케팅 및 광고에의 활용>와 관련한 개인정보는 수집.이용에 관한 동의일로부터<3년>까지 위 이용목적을 위하여 보유.이용됩니다.
보유근거 : 전자상거래등에서의 소비자보호에 관한 법률
관련법령 : 소비자의 불만 또는 분쟁처리에 관한 기록 : 3년
예외사유 :
정보 주체와 법정대리인의 권리·의무 및 그 행사방법 이용자는 개인정보주체로써 다음과 같은 권리를 행사할 수 있습니다.
① 정보주체는 매드업에 대해 언제든지 개인정보 열람,정정,삭제,처리 정지 요구 등의 권리를 행사할 수 있습니다.
② 제1항에 따른 권리 행사는 매드업에 대해 개인정보 보호법 시행령 제41조제1항에 따라 서면, 전자우편, 모사전송(FAX) 등을 통하여 하실 수 있으며 매드업은 이에 대해 지체 없이 조치하겠습니다.
③ 제1항에 따른 권리 행사는 정보주체의 법정대리인이나 위임을 받은 자 등 대리인을 통하여 하실 수 있습니다. 이 경우 개인정보 보호법 시행규칙 별지 제11호 서식에 따른 위임장을 제출하셔야 합니다.
④ 개인정보 열람 및 처리 정지 요구는 개인정보보호법 제35조 제5항, 제37조 제2항에 의하여 정보주체의 권리가 제한 될 수 있습니다.
⑤ 개인정보의 정정 및 삭제 요구는 다른 법령에서 그 개인정보가 수집 대상으로 명시되어 있는 경우에는 그 삭제를 요구할 수 없습니다.
⑥ 매드업은 정보주체 권리에 따른 열람의 요구, 정정·삭제의 요구, 처리 정지의 요구 시 열람 등 요구를 한 자가 본인이거나 정당한 대리인인지를 확인합니다.
처리하는 개인정보의 항목 작성
① <매드업>은 다음의 개인정보 항목을 처리하고 있습니다.
가. <홈페이지 문의 및 관리>
필수항목 : 업체명, 이메일, 제목, 연락처, 광고 예산, 내용, 휴대전화번호, 비밀번호, 이름, 서비스 이용 기록, 접속 로그, 쿠키, 접속 IP 정보
선택항목 : 프로필 사진
나. <재화 또는 서비스 제공>
필수항목 : 업체명, 이메일, 제목, 연락처, 광고 예산, 내용, 비밀번호, 이름, 회사명, 사업자 등록 번호, 신용카드정보, 은행계좌정보, 예금주, 생년월일, 서비스 이용 기록, 접속 로그, 쿠키, 접속 IP 정보, 결제기록
선택항목 :
다. <마케팅 및 광고에의 활용>
필수항목 : 업체명, 이메일, 제목, 연락처, 광고 예산, 내용, 휴대전화번호, 이름, 서비스 이용 기록, 접속 로그, 쿠키, 접속 IP 정보
선택항목 :
개인정보의 파기<매드업>은 원칙적으로 개인정보 처리 목적이 달성된 경우에는 지체없이 해당 개인정보를 파기합니다. 파기의 절차, 기한 및 방법은 다음과 같습니다.
파기절차
이용자가 입력한 정보는 목적 달성 후 별도의 DB에 옮겨져(종이의 경우 별도의 서류) 내부 방침 및 기타 관련 법령에 따라 일정기간 저장된 후 혹은 즉시 파기됩니다. 이 때, DB로 옮겨진 개인정보는 법률에 의한 경우가 아니고서는 다른 목적으로 이용되지 않습니다.
파기기한
이용자의 개인정보는 개인정보의 보유기간이 경과된 경우에는 보유기간의 종료일로부터 5일 이내에, 개인정보의 처리 목적 달성, 해당 서비스의 폐지, 사업의 종료 등 그 개인정보가 불필요하게 되었을 때에는 개인정보의 처리가 불필요한 것으로 인정되는 날로부터 5일 이내에 그 개인정보를 파기합니다.
파기방법
전자적 파일 형태의 정보는 기록을 재생할 수 없는 기술적 방법을 사용합니다. 종이에 출력된 개인정보는 분쇄기로 분쇄하거나 소각을 통하여 파기합니다.
개인정보 자동 수집 장치의 설치•운영 및 거부에 관한 사항
① 매드업은 개별적인 맞춤서비스를 제공하기 위해 이용 정보를 저장하고 수시로 불러오는 ‘쿠키(cookie)’를 사용합니다.
② 쿠키는 웹사이트를 운영하는데 이용되는 서버(http)가 이용자의 컴퓨터 브라우저에게 보내는 소량의 정보이며 이용자들의 PC 컴퓨터 내의 하드디스크에 저장되기도 합니다.
가. 쿠키의 사용 목적 : 이용자가 방문한 각 서비스와 웹 사이트들에 대한 방문 및 이용형태, 인기 검색어, 보안접속 여부, 등을 파악하여 이용자에게 최적화된 정보 제공을 위해 사용됩니다.
나. 쿠키의 설치•운영 및 거부 : 웹브라우저 상단의 도구>인터넷 옵션>개인정보 메뉴의 옵션 설정을 통해 쿠키 저장을 거부 할 수 있습니다.
다. 쿠키 저장을 거부할 경우 맞춤형 서비스 이용에 어려움이 발생할 수 있습니다.
개인정보 보호책임자 작성
① 매드업은 개인정보 처리에 관한 업무를 총괄해서 책임지고, 개인정보 처리와 관련한 정보주체의 불만처리 및 피해구제 등을 위하여 아래와 같이 개인정보 보호책임자를 지정하고 있습니다.
▶ 개인정보 보호책임자
성명 : 강남석
직책 : CFO
직급 : CFO
연락처 : 02-1522-1060, contact@madup.com
※ 개인정보 보호 담당부서로 연결됩니다.
▶ 개인정보 보호 담당부서
부서명 : General Affairs Team
담당자 : 민상준
연락처 : 02-1522-1060, contact@madup.com
② 정보 주체께서는 매드업의 서비스(또는 사업)을 이용하시면서 발생한 모든 개인정보 보호 관련 문의, 불만처리, 피해구제 등에 관한 사항을 개인정보 보호책임자 및 담당부서로 문의하실 수 있습니다. 매드업은 정보주체의 문의에 대해 지체 없이 답변 및 처리해드릴 것입니다.
개인정보 처리방침 변경
① 이 개인정보처리방침은 시행일로부터 적용되며, 법령 및 방침에 따른 변경 내용의 추가, 삭제 및 정정이 있는 경우에는 변경사항의 시행 7일 전부터 공지사항을 통하여 고지할 것입니다.
개인정보의 안전성 확보 조치 <매드업>은 개인정보보호법 제29조에 따라 다음과 같이 안전성 확보에 필요한 기술적/관리적 및 물리적 조치를 하고 있습니다.
가. 정기적인 자체 감사 실시 개인정보 취급 관련 안정성 확보를 위해 정기적(분기 1회)으로 자체 감사를 실시하고 있습니다.
나. 개인정보 취급 직원의 최소화 및 교육 개인정보를 취급하는 직원을 지정하고 담당자에 한정시켜 최소화 하여 개인정보를 관리하는 대책을 시행하고 있습니다.
다. 내부관리계획의 수립 및 시행 개인정보의 안전한 처리를 위하여 내부관리계획을 수립하고 시행하고 있습니다.
라. 해킹 등에 대비한 기술적 대책 <매드업>은 해킹이나 컴퓨터 바이러스 등에 의한 개인정보 유출 및 훼손을 막기 위하여 보안프로그램을 설치하고 주기적인 갱신·점검을 하며 외부로부터 접근이 통제된 구역에 시스템을 설치하고 기술적/물리적으로 감시 및 차단하고 있습니다.
마. 개인정보의 암호화 이용자의 개인정보는 비밀번호는 암호화 되어 저장 및 관리되고 있어, 본인만이 알 수 있으며 중요한 데이터는 파일 및 전송 데이터를 암호화 하거나 파일 잠금 기능을 사용하는 등의 별도 보안기능을 사용하고 있습니다.
바. 접속 기록의 보관 및 위변조 방지 개인정보처리시스템에 접속한 기록을 최소 6개월 이상 보관, 관리하고 있으며, 접속 기록이 위변조 및 도난, 분실되지 않도록 보안기능 사용하고 있습니다.
사. 개인정보에 대한 접근 제한 개인정보를 처리하는 데이터베이스시스템에 대한 접근 권한의 부여,변경,말소를 통하여 개인정보에 대한 접근통제를 위하여 필요한 조치를 하고 있으며 침입차단시스템을 이용하여 외부로부터의 무단 접근을 통제하고 있습니다.
아. 문서 보안을 위한 잠금 장치 사용 개인정보가 포함된 서류, 보조저장매체 등을 잠금 장치가 있는 안전한 장소에 보관하고 있습니다.
자. 비인가자에 대한 출입 통제 개인정보를 보관하고 있는 물리적 보관 장소를 별도로 두고 이에 대해 출입통제 절차를 수립, 운영하고 있습니다.