Dataproc: Qwik Start - 명령줄 | Google Cloud Skills Boost
이 실습에서는 Google Cloud Dataproc 클러스터를 만들고, 클러스터에서 간단한 Apache Spark 작업을 실행한 다음 작업자 수를 수정하는 방법을 보여줍니다. 이 모든 작업은 gcloud 명령줄에서 실행됩니다.
www.cloudskillsboost.google
Cloud Dataproc은 Apache Spark와 Apache Hadoop cluster를 돌리는 것을 더 편리하고 빠르게 등등 (아무튼 더 좋음) 사용할 수 있도록 하는 Cloud Service이다.
cost-efficient 하며 더 빠르고 간단하게 사용할 수 있다고 하기 때문에 큰 용량의 data processing이 필요할 때 쓰지 않을 이유가 없을 것 같다.
IAM (Identity and Access Management)에서 compute engine default service account의 권한이 editor로 되어 있는지 확인한다.
Cloud Console을 통해 dataproc으로 cluster 하나를 만들어 PI를 계산하는 일을 맡긴다.
Dataproc을 이용하여 worker의 수도 조절할 수 있다.
'Cloud > Google Cloud Study Jam' 카테고리의 다른 글
| Introduction to SQL for BigQuery and Cloud SQL (0) | 2022.06.20 |
|---|---|
| Reinforcement Learning: Qwik Start (0) | 2022.06.20 |
| Dataflow: Qwik Start - Python (0) | 2022.06.16 |
| Dataprep: Qwik Start (0) | 2022.06.03 |
| Bayes Classifier on Dataproc (0) | 2022.05.08 |
댓글