[데이터 엔지니어링] 데이터 엔지니어링이란?

데이터 엔지니어링이란 무엇인가

데이터 엔지니어링을 공부하기 시작하면서 가장 먼저 정리하고 싶었던 질문은
“데이터 엔지니어는 정확히 어떤 일을 하는 사람일까?”였습니다.

데이터 분석가나 데이터 사이언티스트가 데이터를 활용하는 역할이라면
데이터 엔지니어는 그 데이터가 안정적으로, 신뢰할 수 있게, 분석 가능한 형태로 흐르도록 만드는 역할에 가깝습니다.

즉, 데이터 엔지니어링은
👉 데이터를 잘 분석하기 위한 환경과 흐름을 만드는 기술이라고 볼 수 있습니다.

 

 

내가 실무에서 가장 먼저 마주했던 문제

 

제가 SI 기업에서 데이터 분석가로 근무하면서 프로젝트에서 공공·산업 데이터를 다루다 보면
분석은 늘 '나중 문제'가 되는 순간이 온다. 원천 데이터는 API·DB·파일로 흩어져 있고 포맷은 제각각이며 갱신 주기는 불규칙 했습니다.