本指南說明如何部署、設定及執行使用 SAP BW Open Hub Batch Source 外掛程式的資料管道。您可以使用 BW Open Hub Service,在 Cloud Data Fusion 中將 SAP 做為來源,進行批次式和差異式資料擷取作業。
這個外掛程式可透過 Cloud Data Fusion,從 SAP 應用程式大量整合資料。您可以設定及執行 SAP DataSources 的大量資料轉移作業,完全不需要進行編碼。
如要瞭解支援擷取的 SAP 應用程式和物件,請參閱「支援詳細資料」。如要進一步瞭解如何在 Google Cloud上執行 SAP,請參閱 Google Cloud上的 SAP 總覽。
目標
- 設定 SAP BW 系統。
- 在 Cloud Data Fusion 環境中部署外掛程式。
- 從 Cloud Data Fusion 下載 SAP 傳輸,並安裝在 SAP 中。
- 使用 Cloud Data Fusion 和 SAP BW Open Hub 批次來源,建立資料管道來整合 SAP 資料。
事前準備
如要使用這項外掛程式,您必須具備下列領域的網域知識:
- 在 Cloud Data Fusion 中建構管道
- 設定 SAP BW 或 BW4HANA 系統
使用者角色
本頁面的工作由 Google Cloud 或 SAP 系統中具有下列角色的使用者執行:
| 使用者類型 | 說明 |
|---|---|
| Google Cloud 管理員 | 獲派此角色的使用者是 Google Cloud 帳戶的管理員。 |
| Cloud Data Fusion 使用者 | 獲派此角色的使用者有權設計及執行資料管道。他們至少會獲得 Data Fusion 檢視者 (
roles/datafusion.viewer) 角色。如果您使用角色式存取權控管,可能需要其他角色。 |
| SAP 管理員 | 獲派此角色的使用者是 SAP 系統的管理員。他們可以從 SAP 服務網站下載軟體。並非 IAM 角色。 |
| SAP 使用者 | 指派此角色的使用者可連線至 SAP 系統。這不是 IAM 角色。 |
SAP BW 的必要條件
您需要 SAP HANA Studio 才能建立及編輯資料傳輸程序和程序鏈。
Cloud Data Fusion 的必要條件
- 建立 Cloud Data Fusion 執行個體時,必須提供虛擬私有雲網路。
- 您必須使用 Cloud Data Fusion 執行個體,版本為 6.8.0 以上,且為任何版本。
- 您必須將必要角色授予指派給 Cloud Data Fusion 執行個體的服務帳戶。詳情請參閱「授予服務帳戶使用者授權」。
- 您必須使用 VPC 與 Google 共用 VPC 網路之間的對等互連連線。
設定 SAP BW 系統
SAP BW Open Hub 批次來源會使用遠端函式模組 (RFM),您必須在每個擷取資料的 SAP 伺服器上安裝該模組。這個 RFM 會以 SAP 傳輸的形式提供。
如要設定 SAP 系統,請按照下列步驟操作:
- Cloud Data Fusion 使用者必須下載包含 SAP 傳輸的 ZIP 檔案,並提供給 SAP 管理員。詳情請參閱「設定 Cloud Data Fusion」一文。
- SAP 管理員必須將 SAP 傳輸匯入 SAP 系統,並驗證建立的物件。詳情請參閱「安裝 SAP 傳輸」。
- 選用:SAP 使用者可以根據機構的安全性政策,修改所提供角色
/GOOG/BWOH_CDF_AUTH的 SAP 標準授權物件。
安裝 SAP 傳輸檔案
如要在 Cloud Data Fusion 中設計及執行資料管道,SAP 元件會以 SAP 傳輸檔案的形式提供,並封存於 ZIP 檔案中。您可以在 Cloud Data Fusion Hub 中部署外掛程式,然後下載。
如要安裝 SAP 傳輸,請按照下列步驟操作:
步驟 1:上傳傳輸要求檔案
- 登入 SAP 執行個體的作業系統。
- 使用 SAP 交易代碼
AL11取得DIR_TRANS資料夾的路徑。通常路徑為/usr/sap/trans/。 - 將 cofiles 複製到
DIR_TRANS/cofiles資料夾。 - 將資料檔案複製到
DIR_TRANS/data資料夾。 - 將資料和共用檔案的使用者和群組設為
<sid>adm和sapsys。
步驟 2:匯入傳輸要求檔案
SAP 管理員可以透過下列任一選項匯入傳輸要求檔案:
方法 1:使用 SAP 傳輸管理系統匯入傳輸要求檔案
- 以 SAP 管理員身分登入 SAP 系統。
- 輸入交易 STMS。
- 依序點選「總覽」>「匯入」。
- 在「佇列」欄中,按兩下目前的 SID。
- 依序點選「Extras」「Other Requests」「Add」。
- 選取傳輸要求 ID,然後按一下「繼續」。
- 在匯入佇列中選取傳輸要求,然後依序點選「要求」> 匯入」。
- 輸入客戶編號。
在「選項」分頁中,選取「覆寫原始檔」和「忽略無效的元件版本」。
選用:選取「Leave Transports Requests in Queue for Later Import」(將傳輸要求保留在佇列中,稍後再匯入)。 這會導致系統在下次匯入所有要求時,以正確順序再次匯入要求。如果您必須為個別要求進行初步匯入作業,這個選項就很有用。
按一下「繼續」。
使用任何適當的交易 (例如
SE80和PFCG),確認函式模組和授權角色已成功匯入。
方法 2:在作業系統層級匯入傳輸要求檔案
- 以 SAP 管理員身分登入 SAP 系統。
將適當的要求新增至匯入緩衝區:
tp addtobuffer TRANSPORT_REQUEST_ID SID例如:
tp addtobuffer BW1K900054 DD1匯入運輸要求:
tp import TRANSPORT_REQUEST_ID SID client=NNN U1238將
NNN替換為客戶編號。例如:tp import BW1K900054 DD1 client=100 U1238使用任何適當的交易 (例如
SE80和PFCG),確認函式模組和授權角色已成功匯入。
必要的 SAP 授權
如要在 Cloud Data Fusion 中執行資料管道,您需要 SAP 使用者。SAP 使用者必須是 Communications 或 Dialog 類型。為避免使用 SAP 對話方塊資源,建議使用 Communications 類型。SAP 管理員可以使用 SAP 交易代碼 SU01 建立使用者。
如要設定 SAP 連接器,必須具備 SAP 授權。 系統會將連接器專用的 SAP 授權物件,隨同傳輸要求一併運送。如要將角色匯入系統,請按照「安裝 SAP 傳輸」一文的說明匯入授權角色傳輸,並從 PFCG 交易代碼產生角色。
對於標準 SAP 授權物件,貴機構會透過自身的安全機制管理權限。您可以根據貴機構的安全政策維護授權物件。
建立程序鏈 (PC) 和資料移轉程序 (DTP)
建立程序鏈和資料移轉程序需要一些額外的技能和背景知識。
背景概念
如要建立或編輯 PC 和 DTP,請使用 SAP HANA Studio。
必備技能
- 您已使用轉換定義來源和目標物件之間的資料流程。
- 您精通基本 BW 和 HANA 概念,例如 DataStore 物件 (DSO)、資料轉換、InfoCube、查詢最佳化、HANA 模型化,以及使用 HANA Studio 的 HANA DB 功能。如要進一步瞭解這些概念,請參閱 SAP 關於 BW 和 HANA 的教學課程。
擷取類型
資料移轉程序有兩種資料擷取模式:完整和差異。
完整:根據 DTP 中提及的篩選條件,選取來源中的所有可用資料。如果資料來源是下列其中一個 InfoProvider,則只能使用「完整」擷取模式:
- InfoObjects
- InfoSets
- 用於直接更新的 DataStore 物件
差異:與資訊封裝不同,使用 DTP 的差異傳輸不需要明確初始化。首次以「Delta」擷取模式執行 DTP 時,系統會從來源擷取擷取時間之前的所有現有要求,然後自動初始化 Delta。
如果 DTP 的擷取模式為 Delta,則可使用下列選項:
- 只取得一次 Delta
- 依要求取得所有新的資料要求
- 擷取資料,直到沒有新資料為止
套件大小:這是指個別資料套件中的資料記錄數。預設值為 50,000。
建立程序鏈
如要建立程序鏈結 (PC),請在 SAP GUI 中使用交易 RSPC。定義啟動程序,然後新增程序步驟和 DTP。詳情請參閱 SAP 說明文件中的「建立程序鏈」。
HANA Studio 提供多種選項,可監控及管理電腦。詳情請參閱 SAP BW/4HANA 流程鏈結作業。
使用程序鏈建立資料移轉程序
前往要用於資料轉移程序的程序鏈「規劃」檢視畫面。您可以使用 HANA Studio,在「規劃」檢視畫面中建立 DTP。詳情請參閱 SAP 說明文件,瞭解如何建立資料移轉程序。
如要進一步瞭解設定選項,請參閱「All about Data Transfer Process (DTP) – SAP BW 7」。
RFC 連線
如要通知回呼系統 (例如 SAP BW Open Hub Batch Source 外掛程式) 資料已可供使用,請更新程序鏈,使用 RFC 目的地:
在 SM59 中,建立 TCP/IP 連線類型的 RFC 連線,以便在 BI 中完成資料載入後,從 BW 通知目標系統。
請在 RFC 連線中設定程式 ID,方法是按兩下 RFC 連線。每個 RFC 目的地都必須有不重複的程式 ID,以免發生執行階段接聽程式衝突。
在程序鏈中使用新建立的 TCP/IP 連線,傳送 Cloud Data Fusion 批次工作完成的通知。程序鏈名稱不區分大小寫。在端對端整合程序中,必須以大寫形式正確指定。
顯示程序鏈和資料移轉程序的記錄
前往交易代碼:RSPC,然後點選「Process Chains」。
在要顯示記錄的程序鏈上按一下滑鼠右鍵,然後按一下「顯示記錄」。
使用程序鏈時設定 Managed Service for Apache Spark 叢集
如要透過 RFC 伺服器啟用通訊,您必須在 Managed Service for Apache Spark 叢集節點的 /etc/services 檔案中新增 SAP Gateway 連接埠項目。建議使用 init action,也就是叢集初始化時要執行的指令碼。詳情請參閱「初始化動作」。
建立指令碼檔案,並儲存至 Cloud Storage bucket。以下範例顯示指令碼檔案的內容:
gs://cdf-sap-dependent-files/addgw.sh
#!/bin/bash
echo 'sapgw00 3300/tcp' >> /etc/services
echo 'sapgw01 3301/tcp' >> /etc/services
echo 'sapgw02 3302/tcp' >> /etc/services
echo 'sapgw03 3303/tcp' >> /etc/services
echo 'sapgw04 3304/tcp' >> /etc/services
在上述範例中,請注意下列事項:
項目格式為
sapgwxx 33xx/tcp,其中XX是 SAP 執行個體編號。系統會新增 SAP 執行個體的通訊埠
00至04。
如果您使用暫時性、新建立的持續性,或現有的持續性 Managed Service for Apache Spark 叢集,請按照下列步驟操作。
暫時性 Managed Service for Apache Spark 叢集
如果您使用暫時性 Managed Service for Apache Spark 叢集,請將 init 指令碼路徑新增至叢集屬性:
- 在工作監控器中,從 Cloud Data Fusion 的管道頁面,按一下「設定」。
- 選取 Compute 設定檔,然後按一下「自訂」。
- 在 進階設定 下方的 初始化動作 欄位中,輸入
init指令碼 的路徑。
新的持續性 Managed Service for Apache Spark 叢集
如果您使用新建立的永久 Dataproc 叢集,請使用 gcloud 指令中的 init 指令碼建立叢集。例如:
gcloud dataproc clusters create cluster-name \
--region=${REGION} \
--initialization-actions=gs://cdf-sap-dependent-files/addgw.sh \
... other flags ...
現有的持續性 Managed Service for Apache Spark 叢集
如果您使用現有的持續性 Dataproc 叢集,請按照下列步驟操作:
如果叢集已建立,但未使用 init 指令碼,請在 Managed Service for Apache Spark 叢集的主節點和工作節點中手動新增項目。
- 透過 SSH 連線至主要節點和叢集節點。
- 登入超級使用者 ID。
- 前往
/etc/,然後在 VI 編輯器中開啟/etc/services檔案。 - 新增項目
sapgwxx 33xx/tcp。將xx替換為您的 SAP 執行個體編號。 - 儲存
/etc/services檔案。
設定 Cloud Data Fusion
確認 Cloud Data Fusion 執行個體與 SAP 伺服器之間已啟用通訊。如果是私有執行個體,請設定網路對等互連。與 SAP 系統代管專案建立網路對等互連後,您無須進行額外設定,即可連線至 Cloud Data Fusion 執行個體。SAP 系統和 Cloud Data Fusion 執行個體必須位於同一個專案中。
Cloud Data Fusion 使用者步驟
- 前往執行個體詳細資料:
在 Google Cloud 控制台中,前往 Cloud Data Fusion 頁面。
按一下「Instances」(執行個體) ,然後點選執行個體名稱,前往「Instance details」(執行個體詳細資料) 頁面。
- 確認執行個體已升級至 6.8.0 以上版本。如果執行個體是舊版,請務必升級。
- 開啟執行個體。Cloud Data Fusion UI 開啟後,按一下「中樞」。
- 依序選取「SAP」分頁標籤 >「SAP BW」。 如果沒有看到「SAP」分頁,請參閱「排解 SAP 整合問題」。
- 按一下「Deploy SAP BW Plugin」(部署 SAP BW 外掛程式)。 外掛程式會顯示在 Studio 頁面的「來源」選單中。
SAP 管理員和 Google Cloud 管理員的步驟
SAP 管理員從 SAP 支援網站下載下列 JCo 構件,並提供給 Google Cloud 管理員。
- 一個與平台無關的 (
sapjco3.jar) - 一個依附平台 (Unix 上的
libsapjco3.so)
如要下載檔案,請按照下列步驟操作:
- 前往「SAP Connectors」(SAP 連接器) 頁面。
- 按一下「SAP Java Connector」/「Tools and Services」。你可以選取特定平台的下載連結。
選取 Cloud Data Fusion 執行個體執行的平台:
- 如果您為叢集中的 VM 使用標準 Google Cloud 映像檔 (Cloud Data Fusion 的預設設定),請選取「Linux for Intel-compatible processors 64-bit x86」(適用於 Intel 相容處理器的 Linux 64 位元 x86)。
- 如果您使用自訂映像檔,請選取相應平台。
Google Cloud 管理員必須將 JCo 檔案複製到可讀取的 Cloud Storage bucket。將 bucket 路徑提供給 Cloud Data Fusion 使用者,讓他們在 Cloud Data Fusion 中輸入對應的外掛程式屬性:SAP JCo 程式庫 GCS 路徑。請參閱「設定外掛程式」。
Google Cloud 管理員必須將這兩個檔案的讀取權限授予設計環境的 Cloud Data Fusion 服務帳戶,以及執行環境的 Managed Service for Apache Spark 服務帳戶。詳情請參閱「Cloud Data Fusion 服務帳戶」。
設定外掛程式
SAP BW Open Hub Batch Source 外掛程式會讀取 SAP DataSource 的內容。
如要篩選記錄,您可以為 SAP BW Open Hub 批次來源設定下列屬性。
下列指標用於定義欄位:
- (M):表示相應欄位支援巨集
- (O):選填欄位
標籤:畫布上的外掛程式標籤。
基本
在下列屬性清單中,(M) 表示選項支援巨集,可用於集中管理 SAP 連線。舉例來說,您可以針對連線屬性使用巨集,並在執行階段使用執行階段參數或 Argument Setter 外掛程式設定值。
- 參考名稱:用於明確識別此來源的名稱,以供處理歷程和註解中繼資料。
「使用連線」 (開啟/關閉切換鈕):是否使用現有連線 (請參閱「管理連線」)。如果選擇使用現有連線,則不必提供任何 SAP 連線詳細資料。
連線 (瀏覽連線):選擇要使用的現有連線。 您也可以使用巨集函式
${conn(connection-name)}。SAP 用戶端 (M):要使用的 SAP 用戶端。例如:
100。SAP 語言 (M):SAP 登入語言。例如:
EN。連線類型:SAP 連線類型,包括直接連線或負載平衡連線。 以程序鏈為基礎的擷取作業不支援負載平衡連線。詳情請參閱「支援詳細資料」。
選取連線類型會變更可用的欄位。
如果是直接連線,則可使用下列欄位:
- SAP 應用程式伺服器主機 (M):SAP 伺服器名稱或 IP 位址。
- SAP 系統編號 (M):SAP 系統編號。例如:
00。 - SAP 路由器 (M、O):路由器字串。
如果是負載平衡連線,則可使用下列欄位:
- SAP 訊息伺服器主機 (M):SAP 訊息主機名稱或 IP 位址。
- SAP 訊息伺服器服務或通訊埠號碼 (M):SAP 訊息伺服器服務或通訊埠號碼。例如:
sapms02。 - SAP 系統 ID (SID) (M):SAP 系統 ID。例如:
N75。 - SAP 登入群組名稱 (M):SAP 登入群組名稱。例如:
PUBLIC。
使用程序鏈 (M):這個欄位包含兩個選項。
如果使用「是」選項啟用程序鏈,系統會啟用下列屬性:
自動解決 PC 和 DTP 錯誤:控制系統在發現先前失敗的執行作業時的行為。停用後,外掛程式會導致管道程序失敗,並顯示相關錯誤。啟用這項外掛程式 (預設) 後,外掛程式會檢查 SAP 中的程序鏈和資料轉移程序狀態。如果發現下列任何錯誤,外掛程式會自動嘗試解決:
Data Transfer Process in error state:外掛程式會刪除先前的要求程序鏈處於紅色狀態,並發生錯誤
previous request status has not been set: 外掛程式會在從程序鏈記錄取得要求 ID 後,刪除封鎖要求,然後嘗試執行 PC。程序鏈狀態通知等待時間 (以分鐘為單位) (M、O): 等待指定時間 (以分鐘為單位),讓程序鏈完成資料暫存,並通知管道開始擷取作業。如果您指定
0或將這個欄位留空,系統會採用預設值 10 分鐘。程序鏈 (M):SAP 程序鏈名稱。例如:
PC_RFC。
如果使用「否」選項停用程序鏈,系統會啟用下列屬性:
- Open Hub Destination (M):要讀取的 Open Hub Destination 名稱。
- 要求 ID (M,O):已執行的資料移轉程序的 ID。
憑證
- SAP 登入使用者名稱 (M):SAP 使用者名稱。 建議:如果 SAP 登入使用者名稱會定期變更,請使用巨集。
- SAP 登入密碼 (M):SAP 使用者密碼。 建議做法:針對使用者密碼等敏感值,請使用安全巨集
SAP JCo 詳細資料
- GCP 專案 ID (M): Google Cloud 專案 ID,這是專案的唯一識別碼。您可以在Google Cloud 控制台的「資訊主頁」中找到這個號碼。
- SAP JCo 程式庫 GCS 路徑 (M):包含使用者上傳的 SAP JCo 程式庫檔案的 Cloud Storage 路徑。
- 取得結構定義:如要讓外掛程式根據 SAP 的中繼資料產生結構定義,並自動將 SAP 資料型別對應至相應的 Cloud Data Fusion 資料型別,請按一下這個選項。這項功能與「驗證」按鈕相同。
如要進一步瞭解用戶端憑證,請參閱「在 SAP NetWeaver 應用程式伺服器上使用 X.509 用戶端憑證 (適用於 ABAP)」。
進階
要產生的分割數 (M、O):分割數用於分割輸入資料。分區越多,平行處理的程度就越高,但需要更多資源和額外負擔。如果是 SAP 地端部署系統,如果未在使用者介面中指定值,則分割比例為 SAP 中可用對話工作程序的 50%。否則,系統會根據使用者指定的工作程序和 50% 的可用工作程序,最佳化分割作業。
建議:除非您熟悉 SAP 系統設定,否則請將屬性留空。
其他 SAP 連線屬性 (M、O):設定其他 SAP JCo 屬性,覆寫 SAP JCo 預設值。舉例來說,設定
jco.destination.pool_capacity = 10會覆寫預設的連線集區容量。下表列出支援的 SAP JCo 屬性:
| 屬性 | 說明 |
|---|---|
jco.destination.peak_limit |
可同時為目的地建立的有效連線數量上限。 |
jco.destination.pool_capacity |
目的地保持開啟的閒置連線數量上限。如果值為 0,則不會有連線集區,也就是說,連線會在每個要求後關閉。 |
jco.destination.expiration_time |
內部集區持有的連線可關閉的時間 (以 ms 為單位)。 |
jco.destination.expiration_check_period |
逾時檢查程式執行緒檢查集區中連線是否過期的間隔 (以 ms 為單位)。 |
jco.destination.max_get_client_time |
如果應用程式已分配允許的連線數量上限,則等待連線的時間上限 (以秒為單位)。ms |
資料擷取模式的行為
資料擷取模式由資料移轉程序設定控管。使用程序鏈與使用 Open Hub Destination 時的行為不同。
使用程序鏈時
資料移轉程序層級的設定會控管是否要執行完整或差異載入。要求 ID 會以 SAP 通知的形式傳送至外掛程式。外掛程式會讀取與這個單一要求 ID 相關聯的封包資料。
使用沒有要求 ID 的 Open Hub 目的地時
完整載入:首次執行管道時,系統會取得 Open Hub 表格中的所有可用要求 ID。外掛程式會讀取與這些要求 ID 相關聯的封包資料。
差異載入:下次執行相同管道時,系統會擷取上次擷取要求 ID 後的所有可用差異要求 ID。外掛程式會讀取與這些要求 ID 相關聯的封包資料。
使用 Open Hub Destination 和要求 ID
完整載入:首次執行管道時,系統會取得所有大於指定要求 ID 的下一個可用要求 ID。外掛程式會讀取與這些要求 ID 相關聯的封包資料。
差異載入:下次執行相同管道時,系統會擷取上次擷取要求 ID 後的所有可用差異要求 ID。外掛程式會讀取與這些要求 ID 相關聯的封包資料。
資料類型對應
下表顯示 SAP BW 和 Cloud Data Fusion 中使用的資料類型對應關係。
| BW 資料類型 | ABAP 類型 | 說明 (SAP) | Cloud Data Fusion 資料類型 | |
|---|---|---|---|---|
| 數字 | ||||
| INT1 | b |
1 位元組整數 | integer |
|
| INT2 | s |
2 位元組整數 | integer |
|
| INT4 | i |
4 位元組整數 | integer |
|
| INT8 | 8 |
8 位元組整數 | long |
|
| 12 月 | p |
BCD 格式的封裝數字 (DEC) | decimal |
|
| DF16_DEC DF16_RAW |
a |
十進位浮點數 8 個位元組 IEEE 754r | decimal |
|
| DF34_DEC DF34_RAW |
e |
十進位浮點 16 位元組 IEEE 754r | decimal |
|
| FLTP | f |
二進位浮點數 | double |
|
| 依字元 | ||||
| CHAR LCHR |
c |
字元字串 | string |
|
| SSTRING GEOM_EWKB |
string |
字元字串 | string |
|
| STRING | string |
字元字串 CLOB | bytes |
|
| NUMC ACCP |
n |
數字文字 | string |
|
| Byte | ||||
| RAW LRAW |
x |
二進位資料 | bytes |
|
| RAWSTRING | xstring |
位元組字串 BLOB | bytes |
|
| 日期/時間 | ||||
| DATS | d |
日期 | date |
|
| TIMS | t |
時間 | time |
|
| TIMESTAMP | utcl |
時間戳記 Utclong |
timestamp |
|
驗證
按一下「驗證」或「取得結構定義」。
外掛程式會驗證屬性,並根據 SAP 的中繼資料產生結構定義。系統會自動將 SAP 資料類型對應至相應的 Cloud Data Fusion 資料類型。
執行資料管道
- 部署管道後,請按一下「設定」。
- 選取「資源」。
- 如有需要,請根據整體資料大小和管道中使用的轉換次數,變更 Executor CPU 和記憶體。
- 按一下 [儲存]。
- 如要啟動資料管道,請按一下「執行」。
發揮最大效能
最佳化外掛程式設定
執行管道時,請使用下列屬性,以獲得最佳效能:
Cloud Data Fusion 外掛程式屬性中的「Number of Splits to Generate」(要產生的分割數):這項屬性直接控管 Cloud Data Fusion 端的平行處理。執行階段引擎會在擷取資料表記錄時,建立指定數量的分區和 SAP 連線。建議使用
8到16之間的值,但您可以在 SAP 端進行適當設定,為 SAP 中的工作程序分配適當的記憶體資源,將值調高至32或64。如果值為
0或留空 (建議),系統會根據可用的 SAP 工作程序數量、要擷取的記錄和封包大小,自動選擇適當的值。BW 資料移轉程序屬性中的「封裝大小」:這項屬性可控管個別資料封裝中的資料記錄數量。預設值為
50,000。提高這個值可能會提升效能,但資源負載也會增加。如果您已使用較高的值,請降低該值,以便更妥善地平行處理擷取作業。
Cloud Data Fusion 資源設定
建議:每個執行器使用 1 個 CPU 和 4 GB 記憶體。這個值適用於每個執行器程序。在「設定」>「資源」對話方塊中設定這些值。
Managed Service for Apache Spark 叢集設定
建議:至少要為工作站分配 CPU 總數,大於預期的分割數。請參閱「外掛程式設定」一節。
舉例來說,如果您有 16 個分割,請在所有工作人員中定義總共 20 個以上的 CPU。協調作業會耗用 4 個 CPU 的額外資源。
建議:使用持續性 Managed Service for Apache Spark 叢集,縮短資料管道執行時間。這樣一來,系統就不會執行佈建步驟,省下幾分鐘或更多時間。在 Compute Engine 設定部分中設定此項目。
支援詳情
支援的 SAP 產品和版本
支援的來源:
- SAP NW BW 7.5 以上版本
- SAP BW4HANA 2.0 SP9 (包含 Open Hub Destination API;舊版 BW4HANA 不支援 Open Hub Destination API)
支援 SAP 負載平衡 (訊息伺服器) 連線
系統支援 SAP 負載平衡 (訊息伺服器) 連線,用於以 Open Hub 目的地為基礎的擷取作業,其中不會使用 RFC 伺服器。
以程序鏈為基礎的擷取作業不支援 SAP 負載平衡 (訊息伺服器) 連線。這是因為 SAP 在向用戶端系統提供data ready通知時有限制,必須在 BW 環境中的每個 SAP 伺服器上註冊 RFC 伺服器 (外掛程式監聽器),這會增加連接器的足跡,並可能影響 SAP 效能和資源用量。詳情請參閱 SAP 注意事項 2572564 (需要登入 SAP 支援服務才能查看)。
支援的 SAP 部署模式
這個外掛程式已在 Google Cloud上部署的 SAP 伺服器上測試。
支援的 SAP 物件
Open Hub 目的地資料來源:資訊提供者 (資訊物件、資訊 Cube、資料存放區物件、進階資料存放區物件、複合式提供者)
處理鏈,可自動將資料轉移程序執行到 Open Hub 目的地。
使用 Oracle HTTP Server 從 SAP 擷取資料時,需要另外取得授權
您不需要另外取得授權,即可使用 Oracle HTTP Server (OHS) 從 SAP 擷取資料,但請向 SAP 代表確認您的具體協議和用途。
預期的外掛程式處理量
如果環境是根據「提升效能」一文中的指南設定,外掛程式每小時可擷取約 38 GB 的資料。實際效能可能會因 Cloud Data Fusion 和 SAP 系統負載或網路流量而異。
後續步驟
- 進一步瞭解 Cloud Data Fusion。
- 進一步瞭解 SAP on Google Cloud。