Google Cloud Dataproc

Обзор Google Cloud Dataproc

Google Cloud Dataproc — это полностью управляемая облачная служба для запуска Apache Spark, Hadoop и других фреймворков обработки данных с открытым исходным кодом в масштабах предприятия. Она позволяет организациям выполнять инженерные задачи по обработке данных, ETL-конвейеры и рабочие нагрузки машинного обучения без операционных накладных расходов. Благодаря интеграции с Google Cloud, Dataproc предоставляет экономически эффективное решение, поддерживая более 30 инструментов с открытым исходным кодом, таких как Apache Flink, Trino и Presto.

Разработанный для команд по работе с данными, Dataproc ускоряет рабочие процессы благодаря своей модели управляемой службы, интегрируясь с IDE и инструментами CI/CD. Lightning Engine обеспечивает более чем в 4,3 раза более быструю обработку Spark, а инструменты на основе ИИ, такие как Gemini, помогают в написании кода и отладке. Предприятия получают выгоду от функций безопасности, поддержки GPU для ML и гибкой настройки кластеров.

Как использовать Google Cloud Dataproc

Начало работы с Dataproc включает создание управляемых кластеров через Google Cloud Console, CLI или инструменты, такие как Terraform. Пользователи определяют конфигурации кластеров, затем отправляют задания Spark или другие задачи. Служба обрабатывает выделение ресурсов, управление кластерами и оптимизацию производительности с такими функциями, как вытесняемые виртуальные машины и постоянные диски. Интеграция с Vertex AI позволяет создавать MLOps-конвейеры, а нативные коннекторы к BigQuery облегчают доступ к данным.

Основные функции Google Cloud Dataproc

1. Производительность Lightning Engine – Ускоряет рабочие нагрузки Spark с более чем в 4,3 раза более быстрой обработкой для архитектур data lakehouse
2. Разработка на основе ИИ – Помощь Gemini в написании кода PySpark, отладке и автоматическом устранении неполадок заданий
3. Готовность к ML на предприятии – Поддержка GPU с NVIDIA RAPIDS и предварительно настроенные среды выполнения ML для интеграции с Vertex AI
4. Гибкость открытого исходного кода – Поддерживает более 30 фреймворков, включая Hadoop, Flink, Trino, с переносимостью образов контейнеров
5. Расширенная безопасность – Разрешения IAM, VPC Service Controls и аутентификация Kerberos для критически важных рабочих нагрузок

Случаи использования Google Cloud Dataproc

• Миграция в облако локальных рабочих нагрузок Hadoop и Spark с поддержкой устаревших версий
• Модернизация data lakehouse с обработкой открытых форматов, таких как Apache Iceberg, из data lakes
• Оркестрация крупномасштабных ETL-конвейеров с автоскейлингом и шаблонами рабочих процессов
• Обучение моделей машинного обучения предприятия и пакетный вывод в масштабе
• Интерактивная SQL-аналитика с использованием кластеров Trino для бизнес-аналитики
• Приложения потоковой обработки с Apache Flink для конвейеров данных в реальном времени
• Оптимизированная по стоимости обработка данных с использованием вытесняемых виртуальных машин и политик автоскейлинга

Поддержка и контакты

Для технической поддержки напишите на contact@google.com или посетите документацию Google Cloud Dataproc. Корпоративные клиенты могут получить доступ к выделенным каналам поддержки, а общественные ресурсы включают документацию и сообщество Dataproc в Facebook для обсуждений.

Информация о компании

Google Cloud Dataproc разработан компанией Google, штаб-квартира которой находится в США. Как часть Google Cloud Platform, он пользуется преимуществами инфраструктуры и экспертизы Google. Узнайте больше на домашней странице Google Cloud.

Вход и регистрация

Доступ к Google Cloud Dataproc осуществляется через Google Cloud Console с использованием вашей учетной записи Google. Новые пользователи могут начать с $300 кредитов для проектов proof-of-concept.