BigQuery Omni 實現多雲端資料分析

2020/07/17

今天推出的 BigQuery Omni 是一個靈活的多雲端解決方案，在使用熟悉的 BigQuery 使用者介面(UI)時，同時可用較低的成本存取並安全地分析儲存在 Google Cloud、Amazon Web Services (AWS)和 Azure (近期將推出)的資料。BigQuery Omni 使用標準 SQL 語法以及廣受客戶好評的 BigQuery API，讓使用者可以整合零散資料，從單一管理平台獲得具有商業價值的分析見解。此外，BigQuery Omni 由 Anthos 支援，讓使用者無須管理基礎架構也能查詢資料。根據 Gartner 近期一份關於雲端採用的調查，使用公有雲的受訪者中超過 80 %表示同時使用一個以上的雲端服務提供商( CSP , 註一)。資料在組織決策過程扮演十足重要的角色，但很多企業、組織的資料其實分散在多個公有雲。為了解決多雲端管理的問題及延續創新的理念，我們推出了 BigQuery Omni，不論使用者的資料儲存在何處，都能為使用者提供最好的分析工具及雲端資料倉儲技術。

BigQuery Omni的功能與特性
在不同雲端平台間移動資料對許多企業來說成本高昂，再者，要達到真正順暢的跨雲端平台運作仍是一大難事。BigQuery 系統將雲端運算和儲存分開，BigQuery Omni 可以用全新的方式分析儲存在不同公有雲的資料。透過將雲端運算與儲存分離， BigQuery 系統得以提供具可擴充的儲存空間，用戶資料可以儲存在 Google Cloud 或其他公有雲。此外，此系統使用無狀態韌性運算來執行標準 SQL 語法。不過目前使用者必須將資料儲存在 Google Cloud 上才能使用 BigQuery。
當其他雲端服務供應商要求使用者將資料移轉或複製到另一個平台時，有可能會伴隨相對應的費用，但使用 BigQuery Omni 可以免去這些成本。Google Cloud 有和 BigQuery 相同的介面，讓使用者無須跨雲端移動或複製資料，也能查詢儲存在 Google Cloud、 AWS 和 Azure 上的資料。BigQuery Omni 的查詢引擎會在資料儲存區域內的叢集執行必要運算。舉例來說，當使用 BigQuery Omni 查詢儲存在 Google Cloud 上 Google Analytics 360 Ads 的資料，也可以查詢儲存在 AWS S3 上電商平台的紀錄和應用程式。接著，使用 Looker 打造專屬的儀表板，能夠一目瞭然客戶的行為、消費與廣告支出之間的關係。
BigQuery Omni 在由 Google Cloud 全代管的 Anthos 叢集上執行，讓使用者夠安全地在其他公有雲平台上進行查詢。Anthos 的混合式和多雲端應用平台可以在不同雲端平台打造、部署及管理 BigQuery 查詢引擎( Dremel )。開發 BigQuery Omni 時，我們了解一致且整合的操作經驗對客戶至關重要。下圖為雲端基礎架構示意圖：

有了 BigQuery Omni ，使用者可以做到：
整合零散資料並取得深入分析：靈活的多雲端分析解決方案能為企業帶來更多可能。無須從其它平台移轉或複製資料到 Google Cloud 進行分析，只要透過 BigQuery ，就可以用更高的成本效益整合零散資料並獲得深入分析。
在不同雲端間取得一致的資料經驗：不論資料集儲存在 Google Cloud 、AWS 還是 Azure（近期將推出），都能享有一致的分析經驗。BigQuery Omni 使用標準SQL 語法及 BigQuery 熟悉的介面撰寫查詢並為資料打造專屬儀表板，能快速回答問題並在單一介面分享結果。
享受 Anthos 帶來的行動力：有 Anthos 完善基礎架構的支援，得以安全地在其他公有雲平台執行分析。這代表無需擔心基礎架構即可以盡情查詢資料。運算資源的執行及資料的儲存位於同一雲端區域，使資料分析經驗更加順暢無阻。
BigQuery Omni 熟悉的介面讓使用者輕鬆上手使用者可以使用 Google Cloud BigQuery 的 UI，選擇資料所儲存的雲端區域執行查詢。無須將資料格式化或轉檔，BigQuery Omni 支援 Avro、CSV、JSON、ORC 和 Parquet格式。此外，使用者也無須從其他公有雲平台移動或複製原始資料、管理叢集或提供額外資源。比方說，BigQuery 多租戶服務提供的運算也可以在資料所在的 AWS 區域中執行。
bq omni 2.jpg

在後台，BigQuery 的查詢引擎在 BigQuery 代管的 Anthos 叢集上運作。一旦使用者透過其他公有雲平台的 IAM 角色授權許可，BigQuery 便可存取儲存在使用者帳號中的資料。請注意，資料會暫時從使用者的儲存空間移至 BigQuery 叢集進行運算，而 BigQuery 的運算是透過 Anthos 執行，並在資料所在的 AWS 區域進行。 bq omni 3.jpg

自行選擇將查詢結果存入 Google Cloud 中，以 BigQuery UI 檢視。 bq omni 4.jpg

或將結果直接輸出到使用者的資料儲存空間，而無須跨雲移動結果或資料。 bq omni 5.jpg

BigQuery Omni 目前仍在不公開的 alpha 測試階段。若有興趣參加測試，歡迎填寫此表格。並請密切關注將於 8 月舉行的 Next OnAir 線上大會：多雲世界的分析工具。
本文作者：Google Cloud 資料分析工程總經理暨副總裁 Debanjan Saha

註一： Gartner, The Future of Cloud Data Management is Multicloud, December 2019