内容紹介

※この商品は固定レイアウトで作成されており、タブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字列のハイライトや検索、辞書の参照、引用などの機能が使用できません。※PDF版をご希望の方はGihyo Digital Publishingも併せてご覧ください。

◆BigQuery徹底活用！◆

2021年2月に刊行した「Google Cloudではじめる実践データエンジニアリング入門」の改訂版です。改訂版の刊行までにデータ基盤に求められる要件は変化し、本書ではその間に進化を続けたGoogle Cloudの各サービスの情報をまとめています。

- Google Cloudの新サービスの反映：Dataform、Dataplex、BigLake、Datastream、Vertex AI、Geminiなど

- 各種Google Cloudの新機能のアーキテクチャへの反映：BigQuery、Dataflow、Pub/Sub、Cloud Coposer、Lookerなど

データエンジニアリングの業務について一般的な知識を整理しつつ、Google Cloud 上でどのように構築するのかを、実践経験豊富な著者陣の現場のノウハウとともに説明します。

■こんな方におすすめ

- すでにソフトウェアコードはある程度かけるが、実践的にデータエンジニアリングへの入門をしたい方

- SQL を利用した分析を行っているが、データ基盤がどういう形なのか興味がある方

- すでにGoogle Cloud をデータ基盤として利用しているが、自社の設計について体系的に理解したい方、より良くする方法を探している方

■目次

●第1章 データ基盤の概要

　　1.1 データ基盤に取り組む意義

　　1.2 データ基盤とは

　　1.3 Google Cloud上で構築するデータ基盤

●第2章 データウェアハウスの概念とBigQueryの利用方法

　　2.1 DWHとは

　　2.2 BigQueryのコンセプト

　　2.3 DWHとしてのBigQueryの基本操作

　　2.4 BigQueryユーザー向けのクエリの最適化

　　2.5 BigQueryの内部アーキテクチャを理解する

●第3章 データウェアハウスの構築

　　3.1 データウェアハウスに求められるさまざまな要件

　　3.2 BigQueryの課金モデル

　　3.3 BigQueryエディション

　　3.4 高可用性、Disaster Recovery 計画

　　3.5 用途別の影響隔離

　　3.6 サイジング

　　3.7 目的環境別の影響隔離

　　3.8 テーブルを設計する

　　3.9 テーブル設計以外のクエリ最適化

　　3.10 データの投入

　　3.11 バックアップとリストア

　　3.12 BigQueryにおけるトランザクションとDMLの最適化

　　3.13 DMLの最適化

　　3.14 外部接続の最適化 - Storage APIの利用とBI Engineの利用

　　3.15 データマートジョブの設計最適化

　　3.16 BigQueryのモニタリング

　　3.17 環境の削除

●第4章 レイクハウスの構築

　　4.1 レイクハウスの概要

　　4.2 Google Cloudでのレイクハウスアーキテクチャ

　　4.3 BigLake

　　4.4 Dataplex

　　4.5 環境の削除

●第5章 ETL/ELT処理 175

　　5.1 ETL/ELTとは

　　5.2 ETL/ELT処理を実施するサンプルシナリオ

　　5.3 サンプルシナリオ実施用の環境の構築

　　5.4 BigQueryでのELT

　　5.5 BigQueryでのETL

　　5.6 Dataformで開発、運用するELTパイプライン

　　5.7 DataflowでのETL

　　5.8 サンプルシナリオ実施用の環境の破棄

　　5.9 その他のETL/ELT処理の実施方法

　　5.10 ETLとELTの各手法の使い分け

●第6章 ワークフロー管理とデータ統合 222

　　6.1 Google Cloudのワークフロー管理とデータ統合のためのサービス

　　6.2 Cloud Composerの特徴

　　6.3 Cloud Composerでのワークフロー管理

　　6.4 Cloud Data Fusionの特徴

　　6.5 Cloud Data Fusionでのワークフロー管理

　　6.6 Cloud Composer、Cloud Data Fusion、Dataformの比較と使い分けのポイント

●第7章 データ分析基盤におけるセキュリティとコスト管理の設計

　　7.1 Google Cloudのセキュリティサービス

　　7.2 Google Cloudのリソース構成とエンタープライズ向けの管理機能

　　7.3 IAMを利用したBigQueryのアクセス制御

　　7.4 IAMとAccess Control List（ACL）を利用したCloud Storageのアクセス制御

　　7.5 VPC Service Controls を利用したアクセス制御とデータ持ち出し防止

　　7.6 監査

　　7.7 Security Command Centerを利用したデータリスクの検知と自動修復

　　7.8 組織のポリシーサービスの適用

　　7.9 アクセス管理とコスト管理の設計

●第8章 BigQueryへのデータ集約

　　8.1 BigQueryへデータ集約を行うメリット

　　8.2 BigQueryへのデータ集約の方法

　　8.3 BigQuery Data Transfer Service（BigQuery DTS）

　　8.4 CDCを利用したデータレプリケーション（Datastream for BigQuery）

　　8.5 BigQueryへのデータパイプライン構築

　　8.6 サービス間連携によるBigQueryへのデータ連携

●第9章 ビジネスインテリジェンス

　　9.1 BIとBIツール

　　9.2 コネクテッドシート

　　9.3 Looker Studio/Looker Studio Pro

　　9.4 Looker

　　9.5 BIツールと親和性の高いBigQueryの機能

　　9.6 Gemini in Looker

●第10章 リアルタイム分析

　　10.1 リアルタイム分析とユースケース

　　10.2 リアルタイム分析基盤に求められるもの

　　10.3 Google Cloudを利用したリアルタイム分析基盤のアーキテクチャ

　　10.4 Pub/Sub

　　10.5 Dataflow

　　10.6 BigQueryのリアルタイム分析機能

　　10.7 リアルタイムタクシーデータを用いたリアルタイム分析基盤の構築

●第11章 発展的な分析 - 地理情報分析と機械学習、非構造データ分析

　　11.1 Google Cloudによる発展的な分析

　　11.2 BigQueryによる地理情報分析

　　11.3 Google Cloud上での機械学習

■著者プロフィール

饗庭秀一郎(あいばしゅういちろう)：Google CloudのCustomer Engineer。モビリティ系ベンチャー企業でBigQueryを用いた分析基盤の構築と運用や分析業務に携わった後、2020年より現職。自分の興味が技術の仕組みや中身からいかにビジネスに活かすかに移るにつれ、キャリアも研究開発からシステム開発、データ分析、プリセールス技術支援へと変わってきました。現在は、特にデータ分析の領域に特化してお客様のビジネスを加速するクラウド活用のお手伝いをしています。BigQuery以外で好きなGoogle Cloudのサービスは、Cloud Shellです。ユーザとして、Google Cloudに出会ったときからこの便利さに常に魅了されてきました。

下田倫大(しもだのりひろ)：Google CloudのAI/ML事業開発担当。Web系企業の研究開発職、データ分析企業のエンジニアマネジャーを経て2017年よりGoogle Cloudに参画。テクノロジーを活用したデータの価値創出に興味があり、興味の赴くままに仕事をしていると、気づいたらクラウドプラットフォーマーに所属していた。現在は、Vertex AIを中心としたGoogle CloudのAI/ML領域の事業開発を担当していて、生成AIの荒波に飲み込まれないように日々悪戦苦闘している。

西村哲徳(にしむらてつのり)：Google CloudのCustomer Engineer。外資系ソフトウェアベンダーでデータベース関連の技術営業としてソリューション開発、国内大手企業のDB移行プロジェクト、パフォーマンスベンチーマーク専門のチームでのPoCなどに従事。また、国内SIerでのDWHプロジェクトやCDPベンダーでのマーケティング領域におけるデータ活用の提案など、製品からデータ活用までの様々な領域を経験。Google CloudではData Analytics Specialistを経て、現在はより守備範囲の広いCustomer Engineerとして日々お客様のビジネスに貢献できるよう活動しています。

寳野雄太（ほうのゆうた）：Google Cloud の統括技術本部長。日系通信会社でPdMとして意思決定のためのデータ基盤を作ったり、エンジニアとしてさまざまなサービスのマイグレーションをしているうち、データ活用の魅力に惹かれ入社。東京リージョン立ち上げからさまざまなお客様のデータ基盤構築立案、構築支援、BigQuery東京リージョンのローンチなどに携わる。2019年より現職。管理職となった現在も毎日適当なタテヨコデカテーブルを作っても淡々と結果が返ってくるBigQueryに助けられながら奮闘中。

山田雄(やまだゆう)：Google CloudのCustomer Engineer Data Analytics Specialist。国内大手企業にてHadoopやBigQueryを使ったデータ基盤の開発/運用に従事したのち、BigQueryの魅力に惹かれ2022年GoogleCloudに参画。データの価値をいかに効率よく上げられるかを日々考えている。好きなプロダクトはBigQueryとDataplex。データマネジメントとデータガバナンスの話が大好き。生成AI活用のためにも、さらにDataplexの活用を広げていきたいと思っている。