LoginSignup
0
1

More than 3 years have passed since last update.

@tomotagwork(Tomohiro Taguchi)

oneWEX導入メモ / RHEL7.6 オフライン編

Last updated at Posted at 2019-08-08

はじめに

Watson Explorer Deep Analytics Edition のコンポーネントの1つであるoneWEXの導入時メモです。
外のインターネットからは隔離されているハイセキュアな環境に導入する想定で、オフラインでのインストールを試してみました。
最近のサービスはクラウド上で提供されるものも多いですが、oneWEXはDockerベースで実装されており、オンプレ環境に構築できるのが特徴の一つでもあります。

関連記事

インストール関連
oneWEX導入メモ / Ubuntu編
oneWEX導入メモ / RHEL7.6 オフライン編

検索関連
oneWEX検証メモ - (0) 概要理解
oneWEX検証メモ - (1)ファイルシステムクローラーによるデータの取り込み / データセット、コレクションの作成
oneWEX検証メモ - (2)Windowsファイルシステムクローラーによるデータの取り込み
oneWEX検証メモ - (3)ContentMinerによる文書の検索
oneWEX検証メモ - (4)ApplicationBuilderによるWebアプリの作成と文書の検索

分析関連
oneWEX検証メモ - (5)ContentMinerによる分析 / ガイド付きモード
oneWEX検証メモ - (6)ContentMinerによる分析 / 各種"ID情報"をベースとした分析

API関連
oneWEX検証メモ - (7)REST API

環境情報

H/W (VirtualBox上のVMとして作成)
Memory 24MB
Disk 200GB
CPU 6Core (Intel Core i5-8350U CPU @ 1.70GHz)

S/W
RHEL v7.6
Docker CE v19
oneWEX v12.0.3

参考: oneWEX - Compatibility Report

CPUについて

The following table specifies the minimum processor required to install the IBM Watson Explorer oneWEX for single container deployment on server.
Note: oneWEX for single container deployment is for processing small amount of data such as PoC use case. A server equips around 4 to 8 CPU cores are appropriate. Allocating more CPU cores to the system does not contribute to the performance improvement.

64-bit (AMD64 or Intel 64) x86 system with four or more cores of 2GHz, or higher processor

導入作業

事前準備 (パッケージ入手)

REHLとoneWEX本体はライセンス購入して、しかるべき手続きで入手するとして...
Dockerがちとやっかいです。

Dockerは有償版のEE(Enterprise Edition)と無償版のCE(Community Edition)があるようなのですが、どうやらRedHatについてはEE版しかないみたいです。
参考: https://docs.docker.com/install/

RedHatの場合はDockerEE使うのが王道っぽいですが、とりあえず手元にDockerEEのライセンスが無いのでDockerCEでやります。
で、RHELへの導入はCentOS版を使えばよさそうなので、CentOSのパッケージを入手することにします。
参考: Get Docker Engine - Community for CentOS - Install from a package

上のガイドにあるダウンロードサイトからrpmパッケージを入手します。
https://download.docker.com/linux/centos/7/x86_64/stable/Packages/

現時点で最新のもの(v19.03)をダウンロード
docker-ce-19.03.1-3.el7.x86_64.rpm
docker-ce-cli-19.03.1-3.el7.x86_64.rpm
containerd.io-1.2.6-3.3.el7.x86_64.rpm

さらに、RHEL上へのDockerインストールについて調べていると、こういう情報がありました。
https://stackoverflow.com/questions/42981114/install-docker-ce-17-03-on-rhel7
https://stackoverflow.com/questions/45272827/docker-ce-on-rhel-requires-container-selinux-2-9/45287245

この辺の情報によると、container-selinux のパッケージも必要になるとのことなので、以下のサイトから、container-selinuxの最新版パッケージを入手しておきます。
http://mirror.centos.org/centos/7/extras/x86_64/Packages/
container-selinux-2.107-1.el7_6.noarch.rpm

※追記
「libXScrnSaver」というパッケージが必要らしいのでこいつもインストールする！
https://www.ibm.com/support/knowledgecenter/ja/SS8NLW_12.0.0/com.ibm.watson.wex.ee.doc/c_onewex_install_docker.html

Docker CEのインストール

上で入手したrpmファイルを対象のマシンに持っていき、インストールします。

[root@test11 /Host_Inst_Image/oneWEX/DockerCE_CentOS]# yum install ./docker-ce-cli-19.03.1-3.el7.x86_64.rpm
読み込んだプラグイン:langpacks, product-id, search-disabled-repos, subscription-manager
This system is not registered with an entitlement server. You can use subscription-manager to register.
./docker-ce-cli-19.03.1-3.el7.x86_64.rpm を調べています: 1:docker-ce-cli-19.03.1-3.el7.x86_64
./docker-ce-cli-19.03.1-3.el7.x86_64.rpm をインストール済みとして設定しています
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> パッケージ docker-ce-cli.x86_64 1:19.03.1-3.el7 を インストール
--> 依存性解決を終了しました。

依存性を解決しました

==========================================================================================================================
 Package                 アーキテクチャー バージョン                  リポジトリー                                   容量
==========================================================================================================================
インストール中:
 docker-ce-cli           x86_64           1:19.03.1-3.el7             /docker-ce-cli-19.03.1-3.el7.x86_64           169 M

トランザクションの要約
==========================================================================================================================
インストール  1 パッケージ

合計容量: 169 M
インストール容量: 169 M
Is this ok [y/d/N]: y
Downloading packages:
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  インストール中          : 1:docker-ce-cli-19.03.1-3.el7.x86_64                                                      1/1
rhel-dvd/productid                                                                                 | 1.6 kB  00:00:00
  検証中                  : 1:docker-ce-cli-19.03.1-3.el7.x86_64                                                      1/1

インストール:
  docker-ce-cli.x86_64 1:19.03.1-3.el7

完了しました!



[root@test11 /Host_Inst_Image/oneWEX/DockerCE_CentOS]# yum install ./container-selinux-2.107-1.el7_6.noarch.rpm
読み込んだプラグイン:langpacks, product-id, search-disabled-repos, subscription-manager
This system is not registered with an entitlement server. You can use subscription-manager to register.
./container-selinux-2.107-1.el7_6.noarch.rpm を調べています: 2:container-selinux-2.107-1.el7_6.noarch
./container-selinux-2.107-1.el7_6.noarch.rpm をインストール済みとして設定しています
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> パッケージ container-selinux.noarch 2:2.107-1.el7_6 を インストール
--> 依存性解決を終了しました。

依存性を解決しました

==========================================================================================================================
 Package                   アーキテクチャー
                                          バージョン                リポジトリー                                     容量
==========================================================================================================================
インストール中:
 container-selinux         noarch         2:2.107-1.el7_6           /container-selinux-2.107-1.el7_6.noarch          40 k

トランザクションの要約
==========================================================================================================================
インストール  1 パッケージ

合計容量: 40 k
インストール容量: 40 k
Is this ok [y/d/N]: y
Downloading packages:
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  インストール中          : 2:container-selinux-2.107-1.el7_6.noarch                                                  1/1
  検証中                  : 2:container-selinux-2.107-1.el7_6.noarch                                                  1/1

インストール:
  container-selinux.noarch 2:2.107-1.el7_6

完了しました!


[root@test11 /Host_Inst_Image/oneWEX/DockerCE_CentOS]# yum install ./containerd.io-1.2.6-3.3.el7.x86_64.rpm
読み込んだプラグイン:langpacks, product-id, search-disabled-repos, subscription-manager
This system is not registered with an entitlement server. You can use subscription-manager to register.
./containerd.io-1.2.6-3.3.el7.x86_64.rpm を調べています: containerd.io-1.2.6-3.3.el7.x86_64
./containerd.io-1.2.6-3.3.el7.x86_64.rpm をインストール済みとして設定しています
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> パッケージ containerd.io.x86_64 0:1.2.6-3.3.el7 を インストール
--> 依存性解決を終了しました。

依存性を解決しました

==========================================================================================================================
 Package                  アーキテクチャー  バージョン               リポジトリー                                    容量
==========================================================================================================================
インストール中:
 containerd.io            x86_64            1.2.6-3.3.el7            /containerd.io-1.2.6-3.3.el7.x86_64             96 M

トランザクションの要約
==========================================================================================================================
インストール  1 パッケージ

合計容量: 96 M
インストール容量: 96 M
Is this ok [y/d/N]: y
Downloading packages:
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  インストール中          : containerd.io-1.2.6-3.3.el7.x86_64                                                        1/1
  検証中                  : containerd.io-1.2.6-3.3.el7.x86_64                                                        1/1

インストール:
  containerd.io.x86_64 0:1.2.6-3.3.el7

完了しました!


[root@test11 /Host_Inst_Image/oneWEX/DockerCE_CentOS]# yum install ./docker-ce-19.03.1-3.el7.x86_64.rpm
読み込んだプラグイン:langpacks, product-id, search-disabled-repos, subscription-manager
This system is not registered with an entitlement server. You can use subscription-manager to register.
./docker-ce-19.03.1-3.el7.x86_64.rpm を調べています: 3:docker-ce-19.03.1-3.el7.x86_64
./docker-ce-19.03.1-3.el7.x86_64.rpm をインストール済みとして設定しています
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> パッケージ docker-ce.x86_64 3:19.03.1-3.el7 を インストール
--> 依存性解決を終了しました。

依存性を解決しました

==========================================================================================================================
 Package               アーキテクチャー   バージョン                    リポジトリー                                 容量
==========================================================================================================================
インストール中:
 docker-ce             x86_64             3:19.03.1-3.el7               /docker-ce-19.03.1-3.el7.x86_64             104 M

トランザクションの要約
==========================================================================================================================
インストール  1 パッケージ

合計容量: 104 M
インストール容量: 104 M
Is this ok [y/d/N]: y
Downloading packages:
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  インストール中          : 3:docker-ce-19.03.1-3.el7.x86_64                                                          1/1
  検証中                  : 3:docker-ce-19.03.1-3.el7.x86_64                                                          1/1

インストール:
  docker-ce.x86_64 3:19.03.1-3.el7

完了しました!

dockerバージョン確認

[root@test11 ~]# docker version
Client: Docker Engine - Community
 Version:           19.03.1
 API version:       1.40
 Go version:        go1.12.5
 Git commit:        74b1e89
 Built:             Thu Jul 25 21:21:07 2019
 OS/Arch:           linux/amd64
 Experimental:      false
Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

docker起動

[root@test11 ~]# systemctl status docker
● docker.service - Docker Application Container Engine
   Loaded: loaded (/usr/lib/systemd/system/docker.service; disabled; vendor preset: disabled)
   Active: inactive (dead)
     Docs: https://docs.docker.com

[root@test11 ~]# systemctl start docker

[root@test11 ~]# systemctl status docker
● docker.service - Docker Application Container Engine
   Loaded: loaded (/usr/lib/systemd/system/docker.service; disabled; vendor preset: disabled)
   Active: active (running) since 木 2019-08-08 14:49:04 JST; 7s ago
     Docs: https://docs.docker.com
 Main PID: 7141 (dockerd)
    Tasks: 14
   Memory: 44.1M
   CGroup: /system.slice/docker.service
           mq7141 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock

 8月 08 14:49:04 test11 dockerd[7141]: time="2019-08-08T14:49:04.151988935+09:00" level=info msg="ClientConn swi...e=grpc
 8月 08 14:49:04 test11 dockerd[7141]: time="2019-08-08T14:49:04.152031393+09:00" level=info msg="pickfirstBalan...e=grpc
 8月 08 14:49:04 test11 dockerd[7141]: time="2019-08-08T14:49:04.152281031+09:00" level=info msg="pickfirstBalan...e=grpc
 8月 08 14:49:04 test11 dockerd[7141]: time="2019-08-08T14:49:04.184899421+09:00" level=info msg="Loading contai...tart."
 8月 08 14:49:04 test11 dockerd[7141]: time="2019-08-08T14:49:04.497813310+09:00" level=info msg="Default bridge...dress"
 8月 08 14:49:04 test11 dockerd[7141]: time="2019-08-08T14:49:04.724817777+09:00" level=info msg="Loading contai...done."
 8月 08 14:49:04 test11 dockerd[7141]: time="2019-08-08T14:49:04.779594517+09:00" level=info msg="Docker daemon"...9.03.1
 8月 08 14:49:04 test11 dockerd[7141]: time="2019-08-08T14:49:04.779873370+09:00" level=info msg="Daemon has com...ation"
 8月 08 14:49:04 test11 dockerd[7141]: time="2019-08-08T14:49:04.813336778+09:00" level=info msg="API listen on ....sock"
 8月 08 14:49:04 test11 systemd[1]: Started Docker Application Container Engine.
Hint: Some lines were ellipsized, use -l to show in full.

はい、OKぽいです。

参考: Dockerでよく使うコマンドまとめ

oneWEXのインストール

以前、consoleモードではまったので、今回は最初からGUIモードでインストールします。
oneWEXのインストーラーを起動し、全てデフォルトのまま次へ次へでインストール。

インストーラー起動
[root@test11 /Inst_Image/oneWEX]# ./install.bin

image.png
image.png
image.png
image.png
image.png
image.png

今回はすんなりいきました。

oneWEX起動

[root@test11 ~]# cd /root/ibm/wex/bin
[root@test11 ~/ibm/wex/bin]# ./wexdocker.sh
FFQC5306I システムを停止しています...
FFQC5302I システムを始動しています...

確認

[root@test11 ~/ibm/wex/bin]# docker ps
CONTAINER ID        IMAGE                      COMMAND                  CREATED             STATUS              PORTS                    NAMES
b07a283ec410        ibm-wex-ee:12.0.3.935      "/opt/ibm/wex/sbin/e…"   2 minutes ago       Up 2 minutes        0.0.0.0:443->60443/tcp   wex12dae
39090454d4d9        ibm-wex-wksml:12.0.3.935   "/sire-entrypoint.sh…"   2 minutes ago       Up 2 minutes        9080/tcp, 9443/tcp       wksml-service

はい、上がりました！

参考: [oneWEX] 起動停止コマンド

接続確認

ブラウザから当該ホストに以下にアクセスできればOK

補足

構成ファイル

oneWEXの構成情報は、インストールディレクトリ(/root/ibm/wex)のconfig/wex.jsonファイルに保持しています。

/root/ibm/wex/config/wex.json
{
  "env": {
    "SOLR_MAX_HEAP": "4g",
    "DOCPROC_WORKER_NUM": "2",
    "SOLR_PER_NODE": "1",
    "DOCPROC_MAX_MEMORY": "2g",
    "WKSML_HOST": "wksml-service",
    "ZK_MAX_HEAPSIZE": "1g",
    "ZK_MIN_HEAPSIZE": "512m",
    "WLP_JVM_MAX_MEMORY": "1g"
  },
  "port": 443,
  "name": "wex12dae",
  "wexDataVolume": "wex12dae",
  "dockerImage": "ibm-wex-ee:12.0.3.935",
  "wksmlImage": "ibm-wex-wksml:12.0.3.935",
  "wksmlContainerName": "wksml-service",
  "restart": "unless-stopped"
}

色々とデータを取り込んだり分析させようとすると、ヒープが足りなくなることがあるので、SOLR_MAX_HEAPあたりは増やしておいた方がよいでしょう。
参考: https://www-01.ibm.com/support/docview.wss?uid=ibm10734583
(一応上のような情報はありますが、あまり明確なチューニングの基準は無さそうです。というか、そもそも上のパラメーターのリファレンスすらKnowledge Centerに見当たらないのはどういう訳なんだろうか???)

SSLサーバー証明書

oneWEXの操作を行う際は、ブラウザからAdminConsoleやContentMinerに接続しますが、HTTPSでの接続となります。この際、デフォルトではoneWEXは自己署名証明書(いわゆるオレオレ証明書)をサーバー証明書として使っているらしく、ブラウザでの接続時にNET::ERR_CERT_AUTHORITY_INVALID とか「この接続ではプライバシーが保護されません」といった警告がでます。無視して接続することもできますが、正規の認証局から証明書を取得してそれを使用したい場合、以下の手順で置き換えが可能なようです。
How to set up SSL certificate files on oneWEX single container?

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
1