닫기
배포/테스트 자동화 2

배포/테스트 자동화 2

Willy
May 29, 2018
TECH

1편 TL; DR

Jenkins CI -> Circle CI -> AWS Pipeline 순으로 한 번씩 사용했습니다.

‘고등학교 때 리눅스 잘할걸’ 하고 눈물 흘리며 Travis CI를 사용하기로 했습니다.

Travis CI

캐시, 빌드, 배포

sbt 사이트에 Travis CI 매뉴얼이 있어 캐싱과 빌드까지는 별다른 어려움이 없었습니다. 캐시를 위한 디렉토리만 지정해주면 됩니다.

[https://www.scala-sbt.org/1.0/docs/Travis-CI-with-sbt.html]

cache:
  directories:
    - $HOME/.ivy2/cache
    - $HOME/.sbt

계속 겪어온 AWS Elastic Beanstalk과 연동하는 문제 역시 Travis에서 지원해주는 배포 툴 중 하나이기에 딱 배포하는 것 까지는 문제가 없었습니다. 도중에 배포는 잘되지만 엉뚱한 S3 경로에 들어가는 실수를 하긴 했지만 bucket_path를 지정해서 해결했습니다.

[https://docs.travis-ci.com/user/deployment/elasticbeanstalk/]

  deploy:
    skip_cleanup: true
    provider: elasticbeanstalk
    access_key_id: $ACESS_KEY_ID #aws access key
    secret_access_key:
      secure: $SECRET_ACESS_KEY #aws secret key
    region: "ap-northeast-2"
    app: $APP_NAME # eb 앱이름
    env: $ENV_NAME # eb 환경이 여러개일때 지정
    bucket_name: $EB_BUCKET # S3 버킷이름 '/'가 들어가면 에러
    zip_file: $TARGET #산출물
    bucket_path: $BUCKET #버킷안에서 경로
    on:
      repo: $REPOSITORY # GitHub 저장소
      branch: $BRANCH #브랜치

몇 가지 헷갈렸던 옵션들만 주석으로 기재합니다.

이렇게 하면 일단 배포는 되지만 문제가 생겼습니다. S3에 앱 이름이 이상하게 되어있는 걸 발견했습니다.

travis-e797dccf4be4d459b110c7585ebc83860a2f4f6f-1524574195.zip

결국 제가 앱 이름을 지정하는 방법을 찾다가 간단한? 쉘 코드를 짜서 앱 이름으로 쓰는 환경변수를 바꾸기로 했습니다.

before_deploy:
  - export ARTIFACT_PRE=$(echo $TRAVIS_REPO_SLUG | sed  s_^.*/__)
  - export ARTIFACT_NAME=app-$(git describe --tags)
  - export ELASTIC_BEANSTALK_LABEL=$(echo $ARTIFACT_NAME)

슬랙연동

슬랙연동은해줄 일이 정말 없습니다. 슬랙에서 APP을 추가해서 토큰을 받아온 후 그 토큰을 yml에 기재하면 끝입니다.

notifications:
  slack:
    rooms:
      - 슬랙팀:토큰#tech_dev_travis

만약에 여러가지 방에 연동하거나 다른 슬랙메세지를 직접 고치고 싶다면 다음 링크를 참조하세요

[https://docs.travis-ci.com/user/notifications/]

테스트

아직도 해결이 안된 부분이고 가장 힘든 부분입니다. revenue 백앤드 코드의 대부분은 DB 작업인데 (가장 복잡하고 최근에 리팩토링한 부분도 DB 작업을 대신해주는 인터페이스) DB는 몇몇 EC2만 접속이 가능해서 SSH 터널링을해야 API 테스트가 가능했습니다.

이 과정에서 왜 문제가 일어나는지도 몰랐고 해결방법도 모르고 결국 알아냈지만 또 문제가 생겨 쉘만 잔뜩 만들었습니다.

대략적으로 겪었던 과정은 다음과 같습니다.

  1. db 접속 확인을 위해 테스트 후 결과를 저장하고 DB 커넥션 관련 에러만 보여주는 쉘을 작성
  2. 제이슨이 SSH로 접속하는 방법을 알려줌
  3. 신디와 같이 터널링에 사용할 Key 저장
  4. 터널링 적용
  5. 터널링을 백그라운드에서 돌려야 된다는 것을 깨달음
  6. 로컬과 다르게 Travis에서는 ‘&’를 이용해 백그라운드에서 프로세스를 돌리기가 어려움
  7. screen, tmux 등의 명령어로 백그라운드 실행을 하려 했으나 화면 전환은 키보드로만 가능하여 테스트는 보류됨

후기

  1. 프론트 개발자 신디의 선호
  2. 테스트 적용 중에 Travis가 다른 CI에 비해 커스텀하기 불편한 점을 느낌
  3. S3에 파일이 .war가 아니라 .zip으로 들어가게 찜찜함

위 3가지 때문에 제이슨은 저에게 다시 한 번 Circle CI로 자동화를 해보는것을 제의했습니다.

Travis는 비교적 쉽고 문서와 지원되는 기술이 정말 잘 되어있습니다. 단점으로는 리눅스처럼 쓰는 데는 약간의 무리가 따릅니다. 구관이 명관이라더니… Jenkins CI가 더 좋은 점도 있었습니다.


다시 Circle CI

yml 작성

이미 한 번 해본거니 1,2일안에 끝날줄 알았지만 실수를 많이 해서 제이슨의 캐리를 받았습니다.

version: 2
jobs:
  build:
    docker:
      - image: circleci/openjdk:8-jdk
    steps:
      - run:
          name: Installing Deployment Dependencies
          command: |
            sudo apt-get -y -qq update
            sudo apt-get -y install python-pip python-dev build-essential
            sudo pip install awscli awsebcli --upgrade
      - checkout
      - run:
          name: Build Package
          command: sbt package
      - run:
          name: Package Deployment
          command: eb deploy
workflows:
  version: 2
  build_and_deploy:
    jobs:
      - build

몇몇 부분들과 잘안된 캐시 부분은 제외한 config.yml 입니다.

실수들

굉장히 간단한 yml이지만 엄청 많이 실수를 남발했습니다. 반성하는 의미에서 적습니다.

  1. awscli가 아니라 awseb 만 설치해 버림
  2. 1번을 모른 상태에서 HOME 디렉토리에 .aws 디렉토리와 파일이 없는걸 깨닫고 고민함
  3. 환경변수로 aws 키를 넣어두고 쉘로 .aws 디렉토리와 파일 만듬
  4. 제이슨의 지적으로 awscli를 설치하고 설정에 넣어둔 키가 잘들어가는 것을 확인함

후기

확실히 Circle CI가 빠르긴 빨랐습니다.

테스트도 없고 여러가지 언어나 환경에서 빌드할 일도 없는 프로젝트를 굳이 Circle CI로 해야 되냐는 고민이 생겼습니다. Circle CI에 장점은 도커환경 위에 리눅스처럼 여러가지를 커스텀 할 수 있고 다양한 workflow를 쓸 수 있다 입니다. 단점은 리눅스를 잘해야 되는데 이럴거면 굳이 안써도 된다는 생각이 들었습니다.


Travis CI VS Circle CI

현기증나니깐 뭐 하나 정해 써요

두 가지 CI 사용해 매번 푸쉬할 때 마다 두 중 하나를 수동으로 정지시키는 고생을 하다가 제이슨과 신디에게 빨리 하나만 정해서 쓰자고 재촉해서 결국 Travis CI를 사용하기로 했습니다. 저희 프로젝트가 복잡하지 않은 점과 Travis를 이미 결제한게 큰 영향을 끼친 것 같습니다.

그 후에는 master 브랜치 설정을 추가해서 배포자동화를 완료했습니다.

branches:
  only:
    - develop
    - master

어떤 CI를 어떻게 쓰고 싶은가?

이번에 4가지 CI로 5번의 배포자동화를 해보면서 각 CI를 어떻게 쓰고 싶냐고 물어보면 이렇게 쓰고 싶습니다.

Jenkins CI : 정부과제, 대기업 외주, 개인 프로젝트

Travis CI : 오픈소스, 여럿이서 프로젝트 할 때

AWS Pipeline : 고객이 AWS를 고집할 때

Circle CI : 개인 프로젝트, 무료로 쓰고 싶을 때

- 이건 회사 의견과 상관없는 개인적 생각입니다.

후기

배포자동화를 거의 2달을 하면서 제일 많이 한 생각은 ‘고등학교 때 소장님 수업(리눅스)좀 많이 물어볼 걸’ 입니다. 서버 운영과 배포 자동화, 임베디드에서는 리눅스를 정말 잘 해야한다고 느꼈습니다.

그 다음으로 드는 생각은 제이슨에게 감사함을 느낍니다. 아마 제이슨이 없었면 제 리눅스 실력으로 2달은 더 걸렸을 것 입니다.

닫기

개인정보 처리방침

<매드업>은 개인정보보호법에 따라 이용자의 개인정보 보호 및 권익을 보호하고 개인정보와 관련한 이용자의 고충을 원활하게 처리할 수 있도록 다음과 같은 처리방침을 두고 있습니다.

<매드업>은 회사는 개인정보처리방침을 개정하는 경우 웹사이트 공지사항(또는 개별공지)을 통하여 공지할 것입니다.

○ 본 방침은 2020년 1월 15일부터 시행됩니다.

개인정보의 처리 목적 <매드업>은 개인정보를 다음의 목적을 위해 처리합니다. 처리한 개인정보는 다음의 목적 이외의 용도로는 사용되지 않으며 이용 목적이 변경될 시에는 사전동의를 구할 예정입니다.

가. 홈페이지 회원가입 및 관리 회원 가입의사 확인, 회원제 서비스 제공에 따른 본인 식별·인증, 회원자격 유지·관리, 제한적 본인확인제 시행에 따른 본인확인, 서비스 부정이용 방지, 만14세 미만 아동 개인정보 수집 시 법정대리인 동의 여부 확인, 각종 고지·통지, 고충처리, 분쟁 조정을 위한 기록 보존 등을 목적으로 개인정보를 처리합니다.

나. 민원사무 처리 민원인의 신원 확인, 민원사항 확인, 사실조사를 위한 연락·통지, 처리결과 통보 등을 목적으로 개인정보를 처리합니다.

다. 재화 또는 서비스 제공 물품배송, 서비스 제공, 청구서 발송, 콘텐츠 제공, 맞춤 서비스 제공, 본인인증, 연령인증, 요금결제·정산 등을 목적으로 개인정보를 처리합니다.

라. 마케팅 및 광고에의 활용 신규 서비스(제품) 개발 및 맞춤 서비스 제공, 이벤트 및 광고성 정보 제공 및 참여기회 제공 , 인구통계학적 특성에 따른 서비스 제공 및 광고 게재 , 서비스의 유효성 확인, 접속빈도 파악 또는 회원의 서비스 이용에 대한 통계 등을 목적으로 개인정보를 처리합니다.

 

 

개인정보 파일 현황

가. 개인정보 파일명 : 개인정보 처리방침

개인정보 항목 : 이메일, 휴대전화번호, 비밀번호, 이름, 업체명, 제목, 광고 예산, 내용, 사업자 등록 번호, 신용카드정보, 은행계좌정보, 예금주, 생년월일, 서비스 이용 기록, 접속 로그, 쿠키, 접속 IP 정보, 결제기록

수집방법 : 홈페이지, 계약서

보유근거 : 홈페이지 회원정보 수집 등에 관한 기록

보유기간 : 5년

관련법령 : 대금결제 및 재화 등의 공급에 관한 기록 : 5년

개인정보의 처리 및 보유 기간 ① <매드업>은 법령에 따른 개인정보 보유·이용기간 또는 정보주체로부터 개인정보를 수집 시에 동의 받은 개인정보 보유,이용기간 내에서 개인정보를 처리,보유합니다. ② 각각의 개인정보 처리 및 보유 기간은 다음과 같습니다.

 

가. <홈페이지 회원가입 및 관리> <홈페이지 회원가입 및 관리>와 관련한 개인정보는 수집.이용에 관한 동의일로부터<5년>까지 위 이용목적을 위하여 보유.이용됩니다.

보유근거 : 홈페이지 회원정보 수집 등에 관한 기록

관련법령 : 대금결제 및 재화 등의 공급에 관한 기록 : 5년

예외사유 :

 

나. <재화 또는 서비스 제공> <재화 또는 서비스 제공>와 관련한 개인정보는 수집.이용에 관한 동의일로부터<5년>까지 위 이용목적을 위하여 보유.이용됩니다.

보유근거 : 계약 또는 청약철회 등에 관한 기록

관련법령 : 계약 또는 청약철회 등에 관한 기록 : 5년

예외사유 :

 

다. <마케팅 및 광고에의 활용> <마케팅 및 광고에의 활용>와 관련한 개인정보는 수집.이용에 관한 동의일로부터<3년>까지 위 이용목적을 위하여 보유.이용됩니다.

보유근거 : 전자상거래등에서의 소비자보호에 관한 법률

관련법령 : 소비자의 불만 또는 분쟁처리에 관한 기록 : 3년

예외사유 :

 

 

정보 주체와 법정대리인의 권리·의무 및 그 행사방법 이용자는 개인정보주체로써 다음과 같은 권리를 행사할 수 있습니다.

① 정보주체는 매드업에 대해 언제든지 개인정보 열람,정정,삭제,처리 정지 요구 등의 권리를 행사할 수 있습니다.

② 제1항에 따른 권리 행사는 매드업에 대해 개인정보 보호법 시행령 제41조제1항에 따라 서면, 전자우편, 모사전송(FAX) 등을 통하여 하실 수 있으며 매드업은 이에 대해 지체 없이 조치하겠습니다.

③ 제1항에 따른 권리 행사는 정보주체의 법정대리인이나 위임을 받은 자 등 대리인을 통하여 하실 수 있습니다. 이 경우 개인정보 보호법 시행규칙 별지 제11호 서식에 따른 위임장을 제출하셔야 합니다.

④ 개인정보 열람 및 처리 정지 요구는 개인정보보호법 제35조 제5항, 제37조 제2항에 의하여 정보주체의 권리가 제한 될 수 있습니다.

⑤ 개인정보의 정정 및 삭제 요구는 다른 법령에서 그 개인정보가 수집 대상으로 명시되어 있는 경우에는 그 삭제를 요구할 수 없습니다.

⑥ 매드업은 정보주체 권리에 따른 열람의 요구, 정정·삭제의 요구, 처리 정지의 요구 시 열람 등 요구를 한 자가 본인이거나 정당한 대리인인지를 확인합니다.

 

 

처리하는 개인정보의 항목 작성

① <매드업>은 다음의 개인정보 항목을 처리하고 있습니다.

 

가. <홈페이지 문의 및 관리>

필수항목 : 업체명, 이메일, 제목, 연락처, 광고 예산, 내용, 휴대전화번호, 비밀번호, 이름, 서비스 이용 기록, 접속 로그, 쿠키, 접속 IP 정보

선택항목 : 프로필 사진

 

나. <재화 또는 서비스 제공>

필수항목 : 업체명, 이메일, 제목, 연락처, 광고 예산, 내용, 비밀번호, 이름, 회사명, 사업자 등록 번호, 신용카드정보, 은행계좌정보, 예금주, 생년월일, 서비스 이용 기록, 접속 로그, 쿠키, 접속 IP 정보, 결제기록

선택항목 :

 

다. <마케팅 및 광고에의 활용>

필수항목 : 업체명, 이메일, 제목, 연락처, 광고 예산, 내용, 휴대전화번호, 이름, 서비스 이용 기록, 접속 로그, 쿠키, 접속 IP 정보

선택항목 :

 

개인정보의 파기<매드업>은 원칙적으로 개인정보 처리 목적이 달성된 경우에는 지체없이 해당 개인정보를 파기합니다. 파기의 절차, 기한 및 방법은 다음과 같습니다.

 

 

파기절차

이용자가 입력한 정보는 목적 달성 후 별도의 DB에 옮겨져(종이의 경우 별도의 서류) 내부 방침 및 기타 관련 법령에 따라 일정기간 저장된 후 혹은 즉시 파기됩니다. 이 때, DB로 옮겨진 개인정보는 법률에 의한 경우가 아니고서는 다른 목적으로 이용되지 않습니다.

 

파기기한

이용자의 개인정보는 개인정보의 보유기간이 경과된 경우에는 보유기간의 종료일로부터 5일 이내에, 개인정보의 처리 목적 달성, 해당 서비스의 폐지, 사업의 종료 등 그 개인정보가 불필요하게 되었을 때에는 개인정보의 처리가 불필요한 것으로 인정되는 날로부터 5일 이내에 그 개인정보를 파기합니다.

파기방법

전자적 파일 형태의 정보는 기록을 재생할 수 없는 기술적 방법을 사용합니다. 종이에 출력된 개인정보는 분쇄기로 분쇄하거나 소각을 통하여 파기합니다.

 

개인정보 자동 수집 장치의 설치•운영 및 거부에 관한 사항

① 매드업은 개별적인 맞춤서비스를 제공하기 위해 이용 정보를 저장하고 수시로 불러오는 ‘쿠키(cookie)’를 사용합니다.

② 쿠키는 웹사이트를 운영하는데 이용되는 서버(http)가 이용자의 컴퓨터 브라우저에게 보내는 소량의 정보이며 이용자들의 PC 컴퓨터 내의 하드디스크에 저장되기도 합니다.

가. 쿠키의 사용 목적 : 이용자가 방문한 각 서비스와 웹 사이트들에 대한 방문 및 이용형태, 인기 검색어, 보안접속 여부, 등을 파악하여 이용자에게 최적화된 정보 제공을 위해 사용됩니다.

나. 쿠키의 설치•운영 및 거부 : 웹브라우저 상단의 도구>인터넷 옵션>개인정보 메뉴의 옵션 설정을 통해 쿠키 저장을 거부 할 수 있습니다.

다. 쿠키 저장을 거부할 경우 맞춤형 서비스 이용에 어려움이 발생할 수 있습니다.

 

 

개인정보 보호책임자 작성

① 매드업은 개인정보 처리에 관한 업무를 총괄해서 책임지고, 개인정보 처리와 관련한 정보주체의 불만처리 및 피해구제 등을 위하여 아래와 같이 개인정보 보호책임자를 지정하고 있습니다.

 

▶ 개인정보 보호책임자

성명 : 강남석

직책 : CFO

직급 : CFO

연락처 : 02-1522-1060, contact@madup.com

※ 개인정보 보호 담당부서로 연결됩니다.

 

▶ 개인정보 보호 담당부서

부서명 : General Affairs Team

담당자 : 민상준

연락처 : 02-1522-1060, contact@madup.com

 

② 정보 주체께서는 매드업의 서비스(또는 사업)을 이용하시면서 발생한 모든 개인정보 보호 관련 문의, 불만처리, 피해구제 등에 관한 사항을 개인정보 보호책임자 및 담당부서로 문의하실 수 있습니다. 매드업은 정보주체의 문의에 대해 지체 없이 답변 및 처리해드릴 것입니다.

 

 

개인정보 처리방침 변경

① 이 개인정보처리방침은 시행일로부터 적용되며, 법령 및 방침에 따른 변경 내용의 추가, 삭제 및 정정이 있는 경우에는 변경사항의 시행 7일 전부터 공지사항을 통하여 고지할 것입니다.

 

 

개인정보의 안전성 확보 조치 <매드업>은 개인정보보호법 제29조에 따라 다음과 같이 안전성 확보에 필요한 기술적/관리적 및 물리적 조치를 하고 있습니다.

가. 정기적인 자체 감사 실시 개인정보 취급 관련 안정성 확보를 위해 정기적(분기 1회)으로 자체 감사를 실시하고 있습니다.

나. 개인정보 취급 직원의 최소화 및 교육 개인정보를 취급하는 직원을 지정하고 담당자에 한정시켜 최소화 하여 개인정보를 관리하는 대책을 시행하고 있습니다.

다. 내부관리계획의 수립 및 시행 개인정보의 안전한 처리를 위하여 내부관리계획을 수립하고 시행하고 있습니다.

라. 해킹 등에 대비한 기술적 대책 <매드업>은 해킹이나 컴퓨터 바이러스 등에 의한 개인정보 유출 및 훼손을 막기 위하여 보안프로그램을 설치하고 주기적인 갱신·점검을 하며 외부로부터 접근이 통제된 구역에 시스템을 설치하고 기술적/물리적으로 감시 및 차단하고 있습니다.

마. 개인정보의 암호화 이용자의 개인정보는 비밀번호는 암호화 되어 저장 및 관리되고 있어, 본인만이 알 수 있으며 중요한 데이터는 파일 및 전송 데이터를 암호화 하거나 파일 잠금 기능을 사용하는 등의 별도 보안기능을 사용하고 있습니다.

바. 접속 기록의 보관 및 위변조 방지 개인정보처리시스템에 접속한 기록을 최소 6개월 이상 보관, 관리하고 있으며, 접속 기록이 위변조 및 도난, 분실되지 않도록 보안기능 사용하고 있습니다.

사. 개인정보에 대한 접근 제한 개인정보를 처리하는 데이터베이스시스템에 대한 접근 권한의 부여,변경,말소를 통하여 개인정보에 대한 접근통제를 위하여 필요한 조치를 하고 있으며 침입차단시스템을 이용하여 외부로부터의 무단 접근을 통제하고 있습니다.

아. 문서 보안을 위한 잠금 장치 사용 개인정보가 포함된 서류, 보조저장매체 등을 잠금 장치가 있는 안전한 장소에 보관하고 있습니다.

자. 비인가자에 대한 출입 통제 개인정보를 보관하고 있는 물리적 보관 장소를 별도로 두고 이에 대해 출입통제 절차를 수립, 운영하고 있습니다.