はじめに
こんにちは、 @kuwazzy です。この記事では、kintone Advent Calendar 2020 11日目の投稿です。本記事では、kintoneのデータをビジネスインテリジェンス（略してBI）で活用する方法をご紹介します。
kintoneは、チームや社内外で共有するデータが一元的に管理できるWeb型データベースです。kintoneを上手に活用している組織であれば、ビジネスや組織内外の重要なデータがkintoneに集まります。一方で、ビジネスインテリジェンス（略してBI）は「企業などの組織のデータを、収集・蓄積・分析・報告することにより、経営上などの意思決定に役立てる手法や技術のこと（Wikipedia より）」です。本記事では、kintoneのデータをBIで活用するにはどのような方法があるのか、BIから利用時に留意すべきポイントについてまとめてみました。それでは、さっそく活用方法についてみていきましょう。
kintoneのデータをBIで活用する方法
まずは、kintone標準の集計＆グラフ機能を使ってみよう！
kintoneには、標準でアプリ内のレコードを集計してグラフとして保存できる機能が標準であります。
kintone ヘルプ > ユーザーヘルプ > アプリの設定 > グラフの設定 > 集計機能とグラフ機能
このkintoneの標準機能を利用することで、kintoneのデータを集計して傾向（トレンド）や内訳を把握することができます。さらに、kintoneのアプリを参照できる人であればこのデータを共有することもできます。グラフの種類も棒・折線・面・円・表・クロス集計と基本的なものが揃っております。
kintone ヘルプ > ユーザーヘルプ > アプリの設定 > グラフの設定 > グラフの種類と使い分け
絞り込み条件やソート項目といった機能もありますのでアプリ内のデータを俯瞰して把握するにはこの機能で十分というユースケースも多いでしょう。さらに作成したグラフは、ポータルにスペースやスレッドの本文にペタッと貼り付けることでダッシュボード的にデータを共有することもできます。
kintone ヘルプ ユーザーヘルプ スペース スペースの操作 スペースやスレッドにアプリを貼り付ける
kintoneのライセンスを持っていて追加コスト無く、アプリにアクセスできる権限があれば同一ブラウザ上で表示切り替えだけでみることができるのも魅力です。
【特徴】 kintone標準の集計＆グラフ機能
- kintoneのアプリ（ブラウザ）内でレコードを集計したグラフを表示できる。
- kintoneのライセンスを持っていれば追加コスト不要。
- グラフの出力条件は保存してポータル画面でもみることができる。
より高度なグラフ表現にはプラグインやUIコンポーネントを使ってみよう！
kintone標準機能のグラフだと実現が難しい以下のようなケースもあると思います。
- 複合グラフや散布図、レーダーチャートといったkintoneの標準グラフにはないタイプのグラフ
- ドリルダウン、スライサーとったOLAP（切り口を色々変えてみる）的な分析
そんな場合は、kintoneの連携サービスベンダが提供しているプラグインやUIコンポーネントの活用を検討してはいかがでしょうか？ 代表的なプラグイン・UIコンポーネント製品をご紹介します。
これらの製品では、kintoneの標準機能では準備されていない専用のBIツール並の様々なグラフや分析のためのパーツ（スライサーやドリルダウンなど）が準備されています。また、製品によっては、作成したダッシュボードをPDFや画像にエクスポートする機能やExcelライクなインタフェースも同時に利用できたりすることも魅力です。
<グレープシティ株式会社 Webサイトのダッシュボードサンプル>
【特徴】 プラグインやUIコンポーネントの利用
- kintoneのアプリ（ブラウザ）内でレコードを集計したグラフを表示できる。 ※標準機能と一緒
- 複合グラフや散布図、レーダーチャートといったkintoneの標準グラフにはない多くの種類のグラフを利用できる
- ドリルダウン、スライサーとったOLAP（切り口を色々変えてみる）的な分析ができる。
- kintoneのライセンスに加えて、プラグインやUIコンポーネント製品のライセンス費用が必要。
使い慣れているBIツールでkintoneのデータを活用できないのか？
すでに社内で導入しているBIツールがある、kintoneだけでなく基幹システムや他の業務アプリケーションのデータと組み合わせてデータを活用したい、という場合もあると思います。この場合は、kintoneだけでは完結せず、データ連携の仕組みが必要となります。
それでは、そのデータ連携の仕組みとはどのようなものがあるのかみていきましょう。
手動でCSV連携
まずは、kintoneのアプリの「ファイルに書き出し」機能を使用してアプリのレコードデータをCSVファイルに出力して、そのCSVファイルをBIツールのCSVファイル取り込み機能でインポートする方法です。どのようなBIツールでもCSVファイルのインポート機能は（私の知っている限り）標準で備わっています。
月に一回、月末に手作業でデータを取り込み、ぐらいの運用で負担にならなければこの方法でも良いと思います。また、RPAツールを使って手作業の部分を自動化することも出来るでしょう。
【特徴】 BIツールに手動でCSV連携
- BIツールの標準機能でデータを取り込み可能
- 手作業でデータ連携
- kintoneとBIツールのライセンスが必要 ※OSSや無償製品もあり
BIツール側の機能で連携
BIツール側の標準やオプション機能としてkintoneのデータ取り込み機能が提供されているBI製品もあります。それらの製品では、アドホック（要求に応じて）最新のデータでダッシュボードや分析レポートを参照することが出来たり、任意のタイミングでデータを最新化することが出来ます。
kintoneデータを取り込める代表的なBIツールとしては、ウイングアーク１ｓｔ株式会社のMotionBoardなどがあります。
【特徴】 BIツール側の機能で連携
- データ取り込みを自動化することが可能
- 最新のkintoneデータにアクセス可能
- kintoneとBIツールのライセンスが必要
BIツール＋データドライバー製品で連携
多くのBIツールは、標準ではkintoneのデータを取り込む機能は持っていませんが、ODBC/JDBC DriverといったRDBMSのデータを取り込む標準規格のインタフェースを持っています。私の所属するCData Softwareでは、kintoneデータにSQLでアクセスできるODBC/JDBC Driverを開発・販売しています。このDriver製品をBIツール側の環境に追加で配置することで、BIツール側からはMySQLやSQLServerといったデータベースにアクセスするのと同じ方法でkintoneデータを取り込むことができるようになります。
また、Driver技術を組み込んだMicrosoft社のPower BIやTableauといった主要なBIツールの専用コネクターもありますので、これらのBIツールを利用している場合は是非ご活用ください。
この方法を利用すれば大抵のBIツールからkintoneのデータにアクセスできるようになります。主要なBIツールからの連携方法は以下のリンクにまとまっていますのでご参照ください。
【特徴】 BIツール＋データドライバー製品で連携
- kintone接続ができないBIツールでも取り込み可能
- データ取り込みを自動化することが可能
- 最新のkintoneデータにアクセス可能
- kintoneとBIツールに加えてDriver製品のライセンスが必要
データベース経由でBIツールに連携
最後にご紹介するのは、kintoneのデータを一度、BIツールの標準機能で接続できるMySQLやSQLServerなどのデータベースに格納する方式です。この方式は、データ連携用のETL/EAI/iPaaSといった製品やサービス、そして、データをストアするデータベースが必要となります。基幹系システムやkintone以外の業務アプリケーションのデータをデータベースに一緒に格納することで、システムを跨ったデータの可視化や分析が可能になったり、BIツールからは、kintoneのデータ（API）にアクセスしないため、kintoneのREST APIの使用量を抑えることができる、といったメリットがあります。
代表的なデータ連携製品には以下のようなものがあります。これらのデータ連携製品は、kintoneと主要なデータベースのコネクタを標準で装備しているため、kintoneのデータをデータベースに格納するバッチ処理を作成することが出来ます。
- アステリア株式会社のAsteria WARP
- 株式会社セゾン情報システムズのDataSpider Servista
- 日商エレクトロニクス株式会社のPolarisGate
- ＪＢアドバンスト・テクノロジー株式会社のQanat
- 株式会社スリーシェイクのreckoner
- 株式会社primeNumberのtrocco
- グレープシティ株式会社のKrewData ※kintoneのアプリをDBとして利用
- M-SOLUTIONS株式会社のSmart at tools for kintone BI接続
- CData Software合同会社 のCData Sync
データベースは、以下のようなリレーショナルデータベース（略してRDB）のソフトウェアであれば、ほとんどの上記データ連携製品、および、BIツールがサポートしています。
なお、Google DataPortalやAmazonのQickSightといったSaaS型のBIツールの場合には、PaaSとして提供されるクラウド上のデータベースを標準でサポートしていますので下記のようなデータベースサービスを利用すると良いでしょう。
【特徴】 データベース経由でBIツールに連携
- データ連携システム、および、データベースが必要
- BIツール側は標準のDB接続機能を利用
- データ取り込みを自動化することが可能
- 最新データではなく前回のデータベースへの取り込み時点のkintoneデータへのアクセスとなる
- kintoneと基幹システムのデータの組み合わせなど、システム跨ぎのデータ可視化や分析が可能
- kintoneのAPI使用量を抑えることが可能
- kintoneとBIツールに加えて、データ連携製品、および、データベースのライセンスが必要
まだある! ユニークな連携方法
上記でご紹介した方法の他にトヨクモ株式会社のkViewerというサービスがあります。kViewerはkintoneの情報をアカウントを持っていない人に対して公開することができるサービスとして多くのkintoneユーザが利用しているサービスです。最近、kintoneで管理するあらゆるデータやグラフを、1つの画面で集約、分析が可能となり、データの視覚化を実現する「ダッシュボード機能」を追加されたようです。こちらのブログ記事にダッシュボードを作る手順が公開されておりましたのでご興味のある方はご覧ください。
kintoneとRDB何が違う？
多くのBIツールは、MySQLやSQLServer、Oracleのようなリレーショナルデータベース（略してRDB）をデータソースに利用することを前提としています。BIツールからみたときに、RDBとkintoneでは何が違うのでしょうか？RDBとkintoneの関係を比較してみました。
| カテゴリ | RDB | kintone |
|---|---|---|
| オブジェクト | データベースインスタンス | サブドメイン |
| テーブル | アプリ | |
| カラム、アトリビュート | フィールド | |
| レコード | レコード | |
| クエリー | SQL (SELECT / INSERT / UPDATE / DELETE) | REST API (GET / POST / PUT / DELETE) |
| キー | 主キー | レコード番号（※別に業務キーがあるとベター） |
| 外部参照キー | 無し（あえて言うとルックアップ参照項目） |
実際のkintoneとRDBのデータ構造のイメージは下記図のとおりです。
kintoneは、Webデータベースのため、データへのアクセスは、SQLの代わりにREST APIとなりますが、他のデータ構造は読み方が異なるだけで比較的似たような構造と言えます。ちなみに、上段のBIツール＋データドライバー製品で連携の章でご紹介したCData社のODBC/JDBC Driver製品は、kintoneのデータにSQLでアクセス出来るようにした製品です。
注意すべきポイントや活用ノウハウ
kintoneのデータをBIで活用するときに、注意すべきポイントや、事前に知っているとデータ活用時に便利なノウハウがあります。
500件以上の取得
BIツールによっては、Web APIのデータを取得する機能(Webデータコネクタ、RESTコネクタなど)が提供されているものもあります。これらの機能を使うとkintoneのREST APIのレコード取得APIを通じてデータを取得することも出来ますが、REST API(レコードの取得(GET)、および、レコードの一括取得)で一度に取得できるレコードは500件までです。それ以上のレコードを取得するには、offsetを指定したり、次のカーソルを呼び出したり、レコードがなくなるまで繰り返しの処理が必要となります。
1万件以上の取得
2020/07のkintoneの定期メンテナンス以降、レコードの取得(GET) APIを利用している場合には、offsetの上限が10,000までに制限されました。そのため、1万件以上のデータを取得しようとするとエラーとなります。詳細はサイボウズ社のこちらのお知らせをご覧ください。その代替のAPIとして、2019/07にカーソルAPIという新しいデータ取得のAPIが追加されています。カーソルAPIについてはdeveloper network カーソル API を使ってレコードを一括取得する のページに詳細な説明がありますので併せてご覧ください。
上記でご説明したBIツールに連携する様々な方法で利用する製品（BI、データドライバー、データ連携製品）がこれらの制約を考慮しているかを注意する必要があります。offsetの上限値制限に伴うプラグイン・連携サービスの対応状況については、こちらのページから最新状況を確認出来るようです。
（サブ）テーブルからのデータ取得
（サブ）テーブルとは、フィールドを配置して1行にまとめたものです。kintone上はテーブル（表）と呼びますが、データベースのテーブル（表）とは異なる概念となりますので、ここではサブテーブルと呼びます。
例えば、以下のような旅費の明細のような情報です。
このサブテーブルを含めてkintoneからCSVファイル出力すると、下記のように、レコード部分（緑）が繰り返しで出力されます。このデータ構造でレコード内の精算金額を集計すると誤った金額（サブテーブルのレコード数分を掛けた金額）となってしまいますので注意が必要です。
ですので、BIツールやDWHなどでデータモデルを作成する場合、サブテーブルが含まれるアプリについては、レコード用のテーブルとサブテーブル用のテーブルにエンティティを分けて管理する方がベターです。
アプリ間の結合（JOIN）
kintoneのREST API（レコード取得API、カーソルAPIともに）は、アプリ単位でのみの取得です。そのため、REST APIの1回のAPIリクエストで複数アプリからデータを取得することは出来ません。また、別々のAPIリクエストやCSVダウンロードで複数のアプリのデータを取得して、取得した後にExcelのVLOOKUP関数を使ったり、取り込んだ後のツールでデータを結合したい場合に、元のアプリにリレーションシップのキーとなる項目を持っていないと紐つけ出来ません。アプリ間のデータを結合するには、元のアプリ設計時に紐つけのキー項目を保持しておくことをお勧めします。例えば、kintoneのサンプルアプリの営業支援パックの例でみてみましょう。営業支援パックには、顧客管理・案件管理・活動履歴と3つのアプリが含まれています。
このサンプルアプリでは、「顧客管理(1)と案件管理(n)」「案件管理(1)と活動履歴(n)」、さらに「顧客管理(1)と活動履歴(n)」のレコードを紐つけ出来るように「{アプリ名}レコード番号（関連レコード一覧紐付け用）」という項目を保持しています。それによって以下のカーディナリティのデータモデルを作成出来ます。
この項目はアプリ定義のルックアップの設定で実装されています。「案件管理（営業支援パック）」では顧客名を取得するときに「顧客管理レコード番号（関連レコード一覧紐付け用）」という項目に「顧客管理（営業支援パック）」のレコード番号が自動でセットされるようになっています。
この工夫によって、案件管理の受注予定金額を顧客管理の属性で集計するといった複数アプリ間の集計が可能となります。
スナップショットデータの比較・分析
kintoneのデータは、いわゆるOLTP型（と最近も言うのでしょうかね...?）、データは最新のものだけを保持しています。厳密にいうと、変更履歴という機能があり、項目レベルでどの時点で何から何に変更されたかは保持しておりますが。この最新のデータから作成出来るグラフは、あくまで最新の情報だけです。以下は、案件管理のプラン費用の金額の棒グラフですが、この金額（本例では、16,200,000）は、現時点の金額です。
しかし、月次の進捗状況を比較して管理したい、といったビジネスケースもあると思います。作成したいのは、以下のようなグラフです。
このグラフを作成するには以下のような月末断面のスナップショットデータを蓄積しておく必要があります。
この課題を解決するのが、上記のデータベース経由でBIツールに連携する方法です。データ連携ツールで月末にkintoneから取得したデータをデータベースに追加するデータパイプラインを作成することで上記のようなデータ蓄積、スナップショット間の比較・分析が可能となります。
まとめ
本記事では、kintoneのデータをBIで活用するにはどのような方法があるのか、BIから利用時に留意すべきポイントについてまとめてみました。kintoneのエコシステムとしてプラグインや外部サービス連携の様々な製品やサービスがあるので、ユースケースや社内環境にフィットした方法を選択することができると思います。本記事が、kintoneのデータ活用を考えている方の少しでも役に立てたのであれば幸いです。読んだよ！という方は「LGTM」ボタンをポチりくださいませ（笑）