こんにちはMitzです。この記事は インフォマティカ Advent Calendar 2023 Day 5 の記事として書かれています。Day 2に引き続きコネクタのネタで恐縮です。オンラインマニュアルやProduct Availability Matrixを見ただけでは判別が難しい、データ統合(Data Integration)と一括取り込み(Mass Ingestion)で利用可能なコネクタについてまとめてみました。
はじめに
この記事はNovember 2023リリース後に実際の環境を参照して作成しています。Day 2で紹介した通り、「Intelligent Data Management Cloud」ライセンスにデフォルトでバンドルされているコネクタは150弱あります。下記の表でコネクタ名に「Y」が記載されているのが、データ統合(Data Integration)と一括取り込み(Mass Ingestion)で利用可能な事を意味します。
一覧
CDI = データ統合(Data Integration)
DB MI = データベース一括取り込み(Mass Ingestion Databases)
AP MI = アプリケーション一括取り込み(Mass Ingestion Applications)
Files MI = ファイル一括取り込み(Mass Ingestion Files)
Streaming MI = ストリーミング一括取り込み(Mass Ingestion Streaming)
| コネクタ名 | CDI | DB MI | AP MI | Files MI | Streaming MI |
|---|---|---|---|---|---|
| Adabas | Y | ||||
| Adabas CDC | Y | ||||
| Adobe Analytics Mass Ingestion | Y | ||||
| Advanced FTP V2 | Y | ||||
| Advanced FTPS V2 | Y | ||||
| Advanced SFTP V2 | Y | ||||
| Amazon Athena | Y | ||||
| Amazon DynamoDB V2 | Y | ||||
| Amazon Kinesis | Y | ||||
| Amazon Redshift v2 | Y | Y | Y | Y | |
| Amazon S3 | Y | ||||
| Amazon S3 v2 | Y | Y | Y | Y | Y |
| AmazonRedshift | Y | ||||
| AMQP | Y | ||||
| AribaV2 | Y | ||||
| AS2 | Y | ||||
| Azure DW Database Ingestion | Y | ||||
| Azure EventHub | Y | Y | |||
| B2B EDI Gateway | Y | ||||
| B2B EDI Gateway Endpoint | Y | ||||
| Cassandra V2 | Y | ||||
| Cloud Integration Hub | Y | Y | |||
| ComplexFileProcessor | Y | ||||
| Concur V2 | Y | ||||
| Coupa V2 | Y | ||||
| Cvent | Y | ||||
| Databricks Delta | Y | Y | Y | Y | Y |
| Db2 for i | Y | ||||
| Db2 for i CDC | Y | ||||
| Db2 for i Database Ingestion | Y | ||||
| Db2 for LUW CDC | Y | ||||
| Db2 for LUW Database Ingestion | Y | ||||
| Db2 for zOS | Y | ||||
| Db2 for zOS CDC | Y | ||||
| Db2 for zOS Database Ingestion | Y | ||||
| Db2 Warehouse on Cloud | Y | ||||
| db2loader | Y | ||||
| Elasticsearch | Y | ||||
| Eloqua REST | Y | ||||
| Eloqua Bulk API | Y | ||||
| Excel | Y | ||||
| FHIR | Y | ||||
| FileIO | Y | ||||
| FileProcessor | Y | ||||
| Flat File （フラットファイル） | Y | Y | Y | Y | |
| FTP/SFTP | Y | ||||
| Google Analytics | Y | ||||
| Google Analytics Mass Ingestion | Y | ||||
| Google Big Query | Y | ||||
| Google Big Query V2 | Y | Y | Y | Y | Y |
| Google Cloud Spanner | Y | ||||
| Google Cloud Storage | Y | ||||
| Google Cloud Storage V2 | Y | Y | Y | Y | Y |
| GooglePubSub | Y | Y | |||
| Greenplum | Y | ||||
| Hadoop Files V2 | Y | Y | |||
| Hive Connector | Y | ||||
| IMS | Y | ||||
| IMS CDC | Y | ||||
| JD Edwards Enterprise One | Y | ||||
| JDBC_IC | Y | ||||
| JDBCV2 | Y | Y | |||
| Jira | Y | ||||
| Jira Cloud | Y | ||||
| JMS | Y | ||||
| Kafka | Y | Y | Y | Y | |
| LDAP | Y | ||||
| Marketo V3 | Y | Y | |||
| Microsoft Azure Blob Storage V3 | Y | Y | |||
| Microsoft Azure Cosmos DB SQL API | Y | ||||
| Microsoft Azure Data Lake Storage Gen2 | Y | Y | Y | Y | Y |
| Microsoft Azure Data Lake Store V3 (Microsoft Azure Data Lake Storage Gen1 V3) | Y | Y | Y | ||
| Microsoft Azure Synapse Analytics Database Ingestion | Y | Y | |||
| Microsoft Azure Synapse SQL | Y | Y | |||
| Microsoft CDM Folders V2 | Y | ||||
| Microsoft Dynamics 365 for Operations | Y | ||||
| Microsoft Dynamics 365 for Sales | Y | ||||
| Microsoft Dynamics 365 Mass Ingestion | Y | ||||
| Microsoft Excel | Y | ||||
| Microsoft Fabric OneLake | Y | ||||
| Microsoft Power BI | Y | ||||
| MLLP | Y | ||||
| MongoDB Mass Ingestion | Y | ||||
| MongoDB v2 | Y | ||||
| MQTT | Y | ||||
| MS Access | Y | ||||
| MySQL | Y | Y | |||
| MySQL CDC | Y | ||||
| Netezza | Y | Y | |||
| NetSuite Mass Ingestion | Y | ||||
| OData | Y | ||||
| Odata Consumer | Y | ||||
| OData V2 Protocol Reader | Y | ||||
| OData V2 Protocol Writer | Y | ||||
| ODBC | Y | ||||
| OPC UA | Y | ||||
| Oracle | Y | ||||
| Oracle CDC V2 | Y | ||||
| Oracle Cloud Object Storage | Y | Y | |||
| Oracle Fusion Cloud Mass Ingestion | Y | ||||
| Oracle Database Ingestion | Y | ||||
| Oracle NetSuite | Y | ||||
| PostgreSQL | Y | Y | |||
| PostgreSQL CDC | Y | ||||
| Redis | Y | ||||
| REST V2 | Y | Y | |||
| Salesforce | Y | ||||
| Salesforce Analytics | Y | ||||
| Salesforce Marketing Cloud | Y | Y | |||
| Salesforce Mass Ingestion | Y | ||||
| SAP | Y | ||||
| SAP ADSO Writer | Y | ||||
| SAP Bapi | Y | ||||
| SAP BW Connector | Y | ||||
| SAP HANA | Y | ||||
| SAP HANA CDC | Y | ||||
| SAP HANA Database Ingestion | Y | ||||
| SAP Mass Ingestion | Y | ||||
| SAP ODP Extractor | Y | Y | |||
| SAPIQ | Y | ||||
| SAPTableConnector | Y | ||||
| Sequential File | Y | ||||
| ServiceNow | Y | ||||
| ServiceNow Mass Ingestion | Y | ||||
| Sharepoint | Y | ||||
| Sharepoint Online | Y | ||||
| Snowflake Cloud Data Warehouse | Y | ||||
| Snowflake Data Cloud | Y | Y | Y | Y | |
| SQL Server | Y | Y | Y | ||
| SQL Server CDC | Y | ||||
| SuccessFactors LMS | Y | ||||
| SuccessFactors OData | Y | ||||
| Tableau V3 | Y | ||||
| Teradata | Y | Y | |||
| VSAM | Y | ||||
| VSAM CDC | Y | ||||
| Web Services （Webサービス） | Y | ||||
| Workday Mass Ingestion | Y | ||||
| Workday V2 | Y | ||||
| Zendesk Mass Ingestion | Y | ||||
| Zendesk V2 | Y | ||||
| Zuora REST V2 | Y | ||||
| ZuoraAQuA | Y |
一括取り込み(Mass Ingestion)のみ対応
数が多いため、上記一覧では判別しにくいのですが、用途が一括取り込みに限定されているコネクタが幾つかあります。多くはコネクタ名にMass Ingestionを含んでいますが、そうではないコネクタもありますので、下記に抜粋しました。
| コネクタ名 | CDI | DB MI | AP MI | Files MI | Streaming MI |
|---|---|---|---|---|---|
| Adobe Analytics Mass Ingestion | Y | ||||
| Advanced FTP V2 | Y | ||||
| Advanced FTPS V2 | Y | ||||
| Advanced SFTP V2 | Y | ||||
| Amazon Kinesis | Y | ||||
| AMQP | Y | ||||
| Azure DW Database Ingestion | Y | ||||
| Azure EventHub | Y | Y | |||
| Db2 for i Database Ingestion | Y | ||||
| Db2 for LUW Database Ingestion | Y | ||||
| Db2 for zOS Database Ingestion | Y | ||||
| Google Analytics Mass Ingestion | Y | ||||
| JMS | Y | ||||
| Microsoft Azure Synapse Analytics Database Ingestion | Y | Y | |||
| Microsoft Dynamics 365 Mass Ingestion | Y | ||||
| MongoDB Mass Ingestion | Y | ||||
| MQTT | Y | ||||
| NetSuite Mass Ingestion | Y | ||||
| OPC UA | Y | ||||
| Oracle Fusion Cloud Mass Ingestion | Y | ||||
| Oracle Database Ingestion | Y | ||||
| Salesforce Mass Ingestion | Y | ||||
| SAP HANA Database Ingestion | Y | ||||
| SAP Mass Ingestion | Y | ||||
| ServiceNow Mass Ingestion | Y | ||||
| Workday Mass Ingestion | Y |
参考リンク
データ統合のコネクタ
一括取り込みのコネクタ
管理者ガイドの接続
おわりに
当初予定していた記事が本日公開したこのネタです。意外にもこのような公開情報が無かった（ベンダーとしては申し訳ない気持ちです）思い立ってまとめてみました。