BigData

tldr; 데이터 엔지니어는 빅데이터를 분석에 활용할 수 있게끔 전처리/가공을 수행하는 사람입니다. 머신러닝과 빅데이터 분야가 발전하기 시작하면서 다양한 용어가 정립되었으며 그 중 하나가 데이터 엔지니어입니다. 현재 대부분의 회사에서 기대하는 데이터 엔지니어의 일반적인 역할을 간단하게 소개합니다. 빅데이터 플랫폼 환경 구축 데이터 엔지니어는 말 그대로 데이터를 다룹니다. 그런데 여기서 말하는 데이터는 그냥 데이터가 아니라 빅데이터입니다. 빅데이터의 특징은 규모가 기하급수적으로 증가한다는 점인데요, 이를 전통적인 데이터베이스 저장 방식으로 처리하는것은 매우 어렵습니다. 그래서 이를 유연하고 안정적이며 값싼 비용으로 처리하기 위한 분산 처리 기술들이 출현하게 됩니다. 빅데이터 플랫폼은 이러한 분산 처리 개념..