Google Cloud Dataproc

Google Cloud Dataproc 概述

Google Cloud Dataproc 是一项完全托管的云服务，用于在企业规模上运行 Apache Spark、Hadoop 和其他开源数据处理框架。它使组织能够执行数据工程、ETL 管道和机器学习工作负载，而无需操作开销。通过与 Google Cloud 的集成，Dataproc 提供了一个经济高效的解决方案，同时支持超过 30 种开源工具，如 Apache Flink、Trino 和 Presto。

专为数据团队设计，Dataproc 通过其托管服务模型加速工作流程，与 IDE 和 CI/CD 工具 集成。Lightning Engine 提供超过 4.3 倍的 Spark 处理速度加速，而像 Gemini 这样的 AI 驱动工具协助代码编写和调试。企业受益于安全功能、用于 ML 的 GPU 支持以及灵活的集群定制。

如何使用 Google Cloud Dataproc

开始使用 Dataproc 涉及通过 Google Cloud Console、CLI 或 Terraform 等工具创建托管集群。用户定义集群配置，然后提交 Spark 作业或其他任务。该服务处理资源供应、集群管理和性能优化，具有抢占式 VM 和持久磁盘等功能。与 Vertex AI 的集成启用 MLOps 管道，而与 BigQuery 的本机连接器便于数据访问。

Google Cloud Dataproc 的核心功能

1. Lightning Engine 性能 – 加速 Spark 工作负载，为数据湖仓架构提供超过 4.3 倍的处理速度
2. AI 驱动的开发 – Gemini 协助 PySpark 代码编写、调试和自动作业故障排除
3. 企业 ML 就绪 – 支持 NVIDIA RAPIDS 的 GPU 和预配置的 ML 运行时，用于 Vertex AI 集成
4. 开源灵活性 – 支持 30 多种框架，包括 Hadoop、Flink、Trino，具有容器镜像可移植性
5. 高级安全 – IAM 权限、VPC 服务控制和 Kerberos 认证，用于关键任务工作负载

Google Cloud Dataproc 的用例

• 将本地 Hadoop 和 Spark 工作负载迁移到云，支持旧版本
• 数据湖仓现代化，处理来自数据湖的开放格式，如 Apache Iceberg
• 大规模 ETL 管道编排，具有自动扩展和工作流模板
• 企业机器学习模型训练和批量推理规模化
• 使用 Trino 集群进行交互式 SQL 分析，用于商业智能
• 使用 Apache Flink 进行流处理应用，用于实时数据管道
• 使用抢占式 VM 和自动扩展策略进行成本优化的数据处理

支持和联系

如需技术支持，请发送电子邮件至 contact@google.com 或访问 Google Cloud Dataproc 文档。企业客户可以访问专用支持渠道，社区资源包括文档和 Dataproc Facebook 社区 进行讨论。

公司信息

Google Cloud Dataproc 由 Google 开发，总部位于美国。作为 Google Cloud Platform 的一部分，它受益于 Google 的基础设施和专业知识。在 Google Cloud 主页 了解更多信息。

登录和注册

通过 Google Cloud Console 使用您的 Google 账户访问 Google Cloud Dataproc。新用户可以为概念验证项目获得 300 美元的信用额度。