EDL (Enterprise Data Lake)

What is an Enterprise Data Lake? — IBA Group - Blog (ibagroupit.com)

What is an Enterprise Data Lake? — IBA Group - Blog

 

데이터 레이크는 raw data를 모아놓은 것으로, 데이터가 수집되는 경로는 매우 다양하다

Constantly-updating not cleaned or filtered data from different sources를 저장한다

 

가장 큰 장점은 single location에 centralize하는 점이다

다양한 소스에 접근하는 DB를 만들어야 하는 상황에서는 쓸 수 없는 방법론을 쓸 수있다

 

Q1) 해당 방법론은 어떤 것이 있을까?

 

유저 그룹 별로 다른 Security Rule을 적용하여 어느 Level의 데이터까지 access할 수 있는 지 control 할 수 있다

Normalization과 Enrichment를 raw data에 적용할 수 있다 - 사람이 이해하는 데 편함 but why?

 

An EDL often differs from a traditional data warehouse by avoiding a lot of up-front processing and normalization of data. These processes are generally applied when required, so data that is not being searched or checked will just reside in the raw format without additional processing. > 이 부분은 이해가 더 필요함

 

모든 부서의 구성원이 데이터 레이크에 접근 가능하고 필요한 processing을 할 수 있음

이를 통해 더 다양한 insight를 도출하고 이를 business solution에 도움을 줄 수 있도록 노력해야함

Smarter business, create more insight, and test more ideas easily > 혁신을 만들어 낼 수 있음

 

그러나 잘 관리되지 않으면 데이터를 담고만 있는 지저분한 창고와도 같을 것

수집하는 데이터의 양이 워낙 많다면 큰 카테고리를 나누어서 data lake를 구성하는 상황이 나올수도 있겠네