Cognos AnalyticsでDISK容量見積もりに注意が必要な新機能

概要

Cognos Analyticsになって、セルフサービスBIの機能が新機能として使用可能になっていますが、これらの機能をエンドユーザーが自由に使用する事になった場合に、どこかにデータがどんどんたまって、大量にディスク容量を使用する事が無いのだろうか、というのを、Cognos Analyticsの設計を行う際に心配だったので、自分で検証してみました。

新機能とは、具体的には、以下の2つの機能になります。

ファイルのアップロード
ExcelやCSVファイルなどを、エンドユーザーがCognos Analyticsに自由にUploadして、ダッシュボードなどに使用する機能です。
アップロードしたファイルは、どこに保管されるのでしょうか？

データ・セットの作成機能
Framework Managerで作成したパッケージの中から、パッケージの一部分をデータごと保管しておいて、ダッシュボードなどに使用する機能です。
こちらもどこに保管されるのでしょう？

ちなみに、新機能には以下のような機能もありますが、今回検証してみた結果、これらの機能は特に目立ったDISK容量の使用は見られなかったので、結果からは割愛します。

データ・サーバーの機能
FMパッケージを通さなくても、エンドユーザーが直接データベース上のテーブルのデータにアクセスできます。

データ・モジュールの機能
エンドユーザーが、簡単なデータモデリングを行える機能です。
Framework Managerを非常に簡易化して、ブラウザで動くようにしたイメージです。

結果

Cognos Analytics 11.0.6での検証結果です。データソースやContent Storeは、DB2 10.5です。
データは以下のようなイメージのデータを自作し、検証に使用しました。
下は100万件で30MB程度の容量で、ExcelファイルやDB2テーブルに挿入して検証しました。

ファイルのアップロードの検証結果
・100万件(30MB)アップロード

自分の環境では、アップロードに45秒程度でした。
この間の30秒間くらい、2コアのCPUで50%～100%使用しました。

ファイルシステム増加は、
/opt/ibm/cognos/analytics/temp/cm配下に、約6MBのCM_*.tmpファイルが生成されました。
/opt/ibm/cognos/analytics/data/datafiles/datasetCache/の下のディレクトリに、約6MBの*.dataファイルが生成されました。

ContentStore表スペース増加は、約8MB増加しました。

・300万件(96MB)アップロード
アップロード時間は、70秒程度でした。
リニアに増加するわけでは無いようです。

ファイルシステム増加は、
/opt/ibm/cognos/analytics/temp/cm配下に、約13MBのCM_*.tmpファイルが生成されました。
/opt/ibm/cognos/analytics/data/datafiles/datasetCache/の下のディレクトリに、約19MBの*.dataファイルが生成されました。

Content Store表スペース増加は、約40MB増加しました。

・300万件ファイルを、上書きでアップロードした場合
アップロード時間は、100秒程度。
/opt/ibm/cognos/analytics/data/datafiles/datasetCache/の下のディレクトリに、約19MBの*.dataファイルが更新アップロードのたびに生成されました。

Content Store表スペースは、増加しませんでした。

・結論
/opt/ibm/cognos/analytics/temp/と/opt/ibm/cognos/analytics/data/のファイルシステムの容量見積もりは注意です。
特に、/opt/ibm/cognos/analytics/data/は、更新アップロードでの上書きでも増加の一途を辿るので、日々の最新データをアップロードするような環境では、非常に見積もりに注意する必要があります。
Content Storeの容量も大きく増加しますが、圧縮はされているようで、96MBデータが40MB表スペース領域に収まりました。

データのアップロード機能が要件にある場合は、是非見積もり時に参考にして見て下さい。

データ・セットの作成機能

・1000万件(300MB)のデータ・セットを作成した場合
100万件の検証では動きが良くわからなかったので、1000万件で検証しました。

データ・セットの作成を行うと、10秒程度で完了メッセージが返ってきますが、実際にCognosサーバーの動きを見ていると、バックグラウンドでその後10分くらいかけてデータ・セットを生成している動作になりました。
10分間の間、CPUが1コア独占されました。

ファイルシステム増加に関しては、非常に特徴的な動きになり、
tempやdataフォルダにはほとんど変化無しでしたが、完了メッセージが返った時点でDBパス配下が1.2GB増加し、それから10分程度かけて徐々に低下し、最終的に128MBの増加まで低減しました。

ContentStore表スペース増加は、128MB増加なので、300MBデータが最終的にはここに収まったようですが、一時的にDBパスを大量に使用するようで、300MBの処理に1.2GBの領域を必要としました。

・結論
作成されるデータセットが保管されるContent Storeの表スペース領域だけでなく、作成処理中に使用される一時的な容量を、最大データセット容量から少なくとも4倍以上を確保しておいた方が良さそうです。

検証してみると、色々と発見しますね。
Cognos Analyticsで、これらのセルフサービス系の新機能を使用する時には、是非参考にして、DISK容量の見積もりを慎重に行って頂ければと思います。