View Our Website View All Jobs

Data Engineer

에이비일팔공 데이터 엔지니어는 다음과 같은 경험에 몰입할 수 있습니다.

 • 대용량 데이터 처리를 위한 데이터 웨어하우스 운영
 • 선형적으로 확장 가능한 인프라 설계
 • 글로벌 비즈니스 경험

━━━━━━━━━━━━
5,000만 디바이스, 100만 RPM, 하루 10억 건 이상의 이벤트

에이비일팔공은 크로스 디바이스를 통해 들어오는 사용자 데이터를 실시간으로 처리하고, 대시보드, 데이터 웨어하우스, 포스트백 등 다양한 방법으로 데이터를 제공함으로써 광고주의 마케팅 ROI 최적화를 돕습니다.

데이터 엔지니어의 주요 역할은 실시간으로 데이터를 수집/처리/제공하는 데이터 파이프라인을 데이터 유실없이(fault tolerant), 확장성 높게(linearly scalable), 효율적(cost effective)으로 구축하고 지속적으로 개선해나가는 것입니다. 단순히 코드의 로직뿐만 아니라, 문제에 적합한 다양한 솔루션들을 도입하고 운영하며, 아키텍처와 인프라, 데이터 구조에 대한 다양한 실험과 모니터링을 진행하게 됩니다. 애드 테크 엔지니어링의 끝단에서 함께 경험하고 만들어가실 분을 모십니다.

━━━━━━━━━━━━
에이비일팔공은 디지털 광고 전문성과 이력을 갖추고 있는 기술중심 팀입니다.

2016년 부터 모바일앱 광고성과 분석 툴 에어브릿지(airbridge.io)를 서비스하며 GS샵, 이베이, 배달의민족 등 300곳 이상의 기업을 고객으로 확보하고, 국내 누적 4,000만 대, 월간 약 1,300만 대의 디바이스를 실시간으로 트래킹하며 효율적인 광고를 위해 데이터를 수집, 정제, 분석하는 파이프라인 사이클을 구축하고 있습니다. 그리고 현재 글로벌 파트너들과 함께 해외 진출 초읽기에 들어섰습니다.

우리는 블록체인 프로젝트 에어블록 프로토콜(airbloc.org)을 함께 개발하고 있습니다. 에어블록은 에어브릿지에서 쌓아온 디지털 광고 전문성으로 광고주가 개인정보보호법에 위배되지 않고 개인 데이터를 광고에 활용할 수 있으면서, 개인은 자신의 데이터의 광고 활용에 대한 보상을 가져갈 수 있는 블록체인 기반의 새로운 광고시장 생태계입니다.

-

주요업무

에이비일팔공의 데이터 파이프라인은 아래와 같이 크게 3가지 파트로 분류할 수 있습니다.

1) 데이터 수집: 데이터 수집 파트는 인터페이스(API) 정의 및 구축부터 시작합니다. 광고 링크 클릭이나 SDK를 통해 수집되는 데이터는 사용자 데이터는 Go로 만들어진 WAS를 지나, Python으로 만들어진 Event Worker의 광고 성과 분석 엔진을 거치게 됩니다.
2) 데이터 처리: 데이터 처리 파트는 실시간 마케팅 캠페인 최적화를 위한 Speed Layer와 정확한 대용량 데이터 분석을 위한 Batch Layer로 나뉩니다. Event Worker에서 광고 분석 엔진을 거친 데이터들은 Speed Layer의 Druid에서 통계 데이터로 집계되고, Postback Worker에서 광고 최적화를 위해 포스트백으로 보내지게 됩니다. 동시에 Batch Layer에서는 Frad Detection, 재설치/잔존율 분석, Raw Data Export, 정확한 통계 제공 등을 위한 Spark job이 daily 혹은 hourly로 돌게 됩니다.
3) 데이터 제공: 처리가 완료된 데이터들은 최종적으로 에어브릿지 대시보드, 마스터 API, 포스트백, S3, 3rd Party(Braze, Amplitude) Integration 등 다양한 데이터 소스로 제공됩니다.

데이터 엔지니어는 데이터 수집부터 제공까지 전체 파이프라인에 대한 권한과 책임을 가지고, 데이터 유실없고(fault tolerant), 확장성 높고(linearly scalable), 비용 효율적(cost effective)인 파이프라인을 개발하고 개선하며, 파이프라인 운용을 위한 지표 선정이나 모니터링 시스템 구축을 진행합니다.

-

자격요건

• Hadoop, Spark 운용 경험이 있으신 분
• Hive를 이용한 Data Manipulation을 경험해보신 분
• Airflow와 같은 workflow 도구를 이용하여 작업 처리를 하시는 분
• 분산 시스템을 이해하시는 분
• 데이터 웨어하우스 개념을 아시는 분
• 대용량 데이터 처리에 있어 어려움을 이해하시는 분
• ETL 프로세스를 관리할 수 있으신 분
• SQL 작성에 어려움이 없으신 분
• 관계형 데이터베이스와 NoSQL의 차이에 대한 이해도가 있으신 분

-

우대사항

 • 광고 업계에 대한 도메인 지식이 있으신 분
 • AWS(Amazon Web Services)를 이용한 탄력적 인프라 운영이 가능하신 분
 • 숫자(특히 통계)에 밝으신 분
 • 작업물을 글로 잘 표현할 수 있는 문서화 능력 (개인 블로그 환영!)
 • 오픈소스 프로젝트 활동 (GitHub 계정 환영!)
 • 세상의 귀찮은 모든 것들을 자동화 하지 않고는 버틸 수 없는 개발자다움

-

혜택 및 복지

빠르게 시장에서 더 성장하기 위해 위계와 비효율적인 프로세스는 쥐약입니다. 우리에게는 업무상의 모든 장애물들을 없애고 효율적인 업무 시스템을 구축하는 유연한 업무 문화가 있습니다.

• Open Culture, 회사의 주인과 사용자는 나 자신입니다. 우리가 몰입할 수 있는 업무 문화를 위해 적극적으로 의견을 개진하고 개선해나갑니다.
• Bi-weekly Retrospective, 격주로 로드맵과 업무 티켓을 점검하고 회고합니다.
• 도서, 강의, 컨퍼런스 등 나와 팀원의 성장을 위해 교육에 지원을 아끼지 않습니다.
• 고사양의 업무용 디바이스를 지원합니다.
• 사당역 도보 30초 거리에 우리만의 멋지고 쾌적한 사무실이 있습니다.
• 검증된 실력이라면 업계 최고 수준으로 보상해드립니다.

Read More

Apply for this position

Required*
Apply with Indeed
Attach resume as .pdf, .doc, .docx, .odt, .txt, or .rtf (limit 5MB) or Paste resume

Paste your resume here or Attach resume file