Google Machine Learning Bootcamp 2022/Professional Data Engineer29 [Youtube] Data Warehousing With BigQuery: Best Practices (Cloud Next '19) 현대로 오며 개발 기술이나 과정에 변화가 많이 생겼고, 이러한 변화속에서 필요한 기능들을 BigQuery가 제공하므로 기존의 전통적인 Data Wearhous보다 BigQuery가 더 좋다고 한다. 일례로 scalability가 정말 flexible하고 필요할때만 computing power나 storage를 사용하므로 더 경제적이다. Remote memory shuffle을 하기 때문에 빠르다고 한다. (대충 이해하기로는 query를 여러 stage로 나누어 병렬처리를 하면서 producer가 생산하는 데이터를 여유있는 아무 consumer가 가져가서 사용하는 것 같다. 각 node들의 일처리 속도가 누가 빠를지는 예상하기 어렵기 때문에 1:1 matching보다는 shuffle 하는 것이 더 빠를 것.. 2022. 8. 17. 이전 1 ··· 5 6 7 8 다음