外国の方とのZoomリモート会議に参加したよ、多国語会議で共有メモの翻訳自動化で改善してみる：（Web翻訳サービスとPowerShell Seleniumを使ってConfluenceミーティング議事録上でやってみます）

Last updated at 2021-12-16Posted at 2021-12-14

先日、以下の記事で紹介させてもらいましたが、
ベトナムの方と、私たちのチーム(日本人)とで、日本語やベトナム語が入れ替わり話される会議に参加しています。

前回は、Zoomのホワイトボードを活用して議事トピックを日本語で共有しつつ、RPA SikulixとWeb翻訳を活用して、英語等に翻訳することをやってみました。

ちょっと動作や共有が遅いことや、使い勝手がもう一つということで、
今度は、Zoomのホワイトボードの代わりに、Confluenceのページ編集画面を使って挑戦してみます。
（まだ一部だけ作成して、簡単なテストで動作確認しただけです。これから実際に活用して改善しようかと思っています）

Confluenceのミーティング議事録に議論の内容をテキストで列挙していき、
PowerShellとSeleniumを使って、議論のテキストをWeb翻訳かけて、
ベトナム語や英語にして、ミーティング議事録に列挙してみました。

以下のgifイメージのように動作します。（左側が自動翻訳で、右側に自分で会議内容を手入力しています）

最終的に以下のイメージのようになりました。

大まかな構成は以下のようになっています。

今回もネット上の情報を拝見させてもらいました。以下のページを参考にさせてもらいました。
（情報提供されている皆さん、いつもありがとうございます。
　色々と検索して参照しましたが、載せれていないページが多々あります。すみませんM(_)M）

PowerShell Selenium
- 【PowerShell】Seleniumを導入してみる
- GitHub adamdriscoll/selenium-powershell
Confluence ミーティング議事録
- Confluenceのテンプレート紹介② ミーティング議事録
Selenium IDE
- Selenium IDEとは

今回の内容の前提として、以下がありますので、ご注意ください。

構成
PC
- OS: Windows 10 64bit
- SW
  - PowerShell 5.1.18362.1801
  - PowerShell Selenium
  - Google Chrome 96.0.4664.45
  - Google Chrome拡張機能Selenium IDE 3.17.2
  - Google Chrome Driver 96.0.4664.45
2021年12月に調べたり動作確認した内容です。

では、以下の各章の流れで、活用ツールとやったこと等を、順に紹介させてもらいます。

#1. Confluenceのミーティング議事録テンプレートについて

Confluenceに用意されているミーティング議事録という、議事録用のテンプレートを活用しています。

このテンプレートの中に、「Discussion topics」という議論用の表があるので、
そこのNotes列に、英語や日本語、ベトナム語で、話した内容を記載して、みんなの認識を合わせるために活用しようと思います。

Confluenceの議事録ページは、編集モードにすると、複数のユーザで同時編集が可能で、他の人の編集内容も参照できます。
また、画像イメージも張り付けることもできるので、Zoomのホワイトボードで出来なかったネット上のイメージを張り付けて共有する、といったことも可能です。

Atlassian社のJira SoftwareやBitBucketと合わせて、Confluenceも活用することになったので、今回の構成でやってみようと思いました。

あと、気になったことがありましたので、Atlassian社の方に相談の確認をしました。

規約に以下のような記述があります。
「リバースエンジニアリング」がNGということで、Selenium等のツールを活用して翻訳を自動化してよいか、わかりませんでしたので、
問い合わせを行ったところ、OKでしたので、進めることにしました。

３. お客様のクラウド製品サブスクリプションの内容および制限
3.3.制限: 本規約において別途明示的に許可されている場合を除き、お客様は、
...(中略)
(f) 適用法で明示的に認められている場合かつ当社に事前に通知をしている場合を除き、クラウド製品をリバースエンジニアリング、逆アセンブル、逆コンパイル、変換またはその他の方法でソースコード、内在するアイデア、アルゴリズム、ファイル形式およびクラウド製品向けの非公開 API を取得および導出しようとせず、
...(略)

「Discussion topics」の表のセルのxpathを調べるのにChromeの拡張機能のSelenium IDEを活用しました。
Selenium IDEで、ブラウザ操作をレコーディングし、表のセルをクリックして、xpath等を把握しました。

#2. 社内Web翻訳サービス

前回と同様に、社内のWeb翻訳サービスを活用しました。

詳細については省略とさせてください。
一般的なWeb翻訳等と似たような機能になります。

#3. PowerShell SeleniumによるConfluenceとWeb翻訳の連携

スクリプト言語のPowerShellを活用して、以下の処理を実装しました。

Confluenceの日本語を取得
取得した日本語をWeb翻訳に入力し、翻訳（英語やベトナム語等）し、Web翻訳から翻訳結果を取得
取得した翻訳結果をConfluenceに追記

実装コードは以下になります。

コード自体は、まだまだ入門者であること、お試しなので最低限動くことを優先、実験的コードやTODOも記載したまま、といった内容です。
なので、まだまだ改善の余地がありますが(例：長文だと時間がかかる点等)、ひとまず動くレベル、といった状況です。
あと、社内Web翻訳のデータや、Confluenceのミーティング議事録のURL等、別の文字に変換してあります。
上記のように色々と不都合ありますが、ご了承ください。


###############
# pre setting #
###############
PowerShell Seleniumのインストール
ex: 管理者権限でPowerShellを起動
> Install-Module Selenium
参考：https://kojimanotech.com/2020/05/19/222/
Chromeのインストール
ChromeWebドライバーのインストール(Chromeとバージョンを合わすことを推奨します)
ダウンロード先：https://chromedriver.chromium.org/downloads
パラメーターの設定
chromeExePath：Chromeの実行ファイルパスを指定
chromeWebDriverDirPath：ChromeWebドライバーのフォルダパスを指定(注：実行ファイルパスではありません)
sleepMiliSecond：操作の検出処理の実行間隔をミリ秒で指定
target_url_share：Confluenceミーティング議事録のURL
target_url_translate：Web翻訳のURL
CountWaitMax：翻訳待ちの回数
CountWaitMax * waitSleepMiliSeondTranslateが最大翻訳待ち時間となる
例： 7 * 300 = 2100ミリ秒
waitSleepMiliSeondTranslate：翻訳待ちのインターバル時間(ミリ秒)
translate_id：翻訳実施識別子(この文字列があると翻訳が実行される)
実行例
本スクリプトの内容をPowerShellにコピー＆ペーストして実行
#############
parameter
#############
$chromeExePath = "C:\Program Files\Google\Chrome\Application\chrome.exe"
2021/11/29 96.0.4664.45
$chromeWebDriverDirPath = "D:\WINDOWS\soft\ChromeDriver\96.0.4664.45\chromedriver_win32"
loop interval sleep mili second
#$sleepMiliSecond = 2000
$sleepMiliSecond = 1000
#$sleepMiliSecond = 500
#$sleepMiliSecond = 300
#$sleepMiliSecond = 200
#$sleepMiliSecond = 100
$waitTimeoutGetElement = 1.0
$CountWaitMax = 7
$waitSleepMiliSeondTranslate = 300
target html url
★Personal Data
$target_url_share = "secret_share_url"
$target_url_translate = "secret_translate_url"
$translate_id = "〓〓"
PowerShellにコピーペーストすると記号(★●×▲▼■★◆◎□◇▽△等)は消えるので、自分で打ちなおすか別の記号にする(〇〓)
$str_crlf = "rn"
############
function
############
function open_driver($url) {
#$driver = Start-SeChrome
chrome driver download url: https://chromedriver.chromium.org/downloads
$driver = Start-SeChrome -BinaryPath $chromeExePath -WebDriverDirectory $chromeWebDriverDirPath
Enter-SeUrl $url -Driver $driver
return $driver
}
function close_driver($driver) {
Stop-SeDriver -Driver $driver
}
function get_element_xpath_wait($driver, $xpath, $timeout) {
$targetElement = Find-SeElement -Driver $driver -Wait -Timeout $timeout -XPath $xpath
return $targetElement
}
function get_element_xpath($driver, $xpath) {
$targetElement = Find-SeElement -Driver $driver -XPath $xpath
return $targetElement
}
function get_element_id($driver, $id) {
$targetElement = Find-SeElement -Driver $driver -Id $id
return $targetElement
}
function get_output_text() {
}
function do_script($driver, $script) {
ex 1: "return document.body.offsetWidth"
ex 1: "return document.getElementsByTagName("textarea")[0].value"
ex 1: "return document.getElementsByTagName("textarea")[1].value"
return $driver.ExecuteScript($script)
}
function translate_table_cells_element($driver, $input_text) {
TODO
other translate web site
return translate_table_cells_element_intra $driver $input_text
}
function translate_table_cells_element_intra($driver, $input_text) {
翻訳記号を削除
$all_text = $input_text.Replace($translate_id, "")
Write-Host "all text: " + $all_text
$input_translate_index = 0
$output_translate_index = 1
$do_translate_id = "secret_do_id"
$clear_translate_id = "secret_clear_id"
入力先に代入
TODO
まずは、JavaScriptコマンド実行で値に直接代入方式
$script_context = 'document.getElementsByTagName("textarea")[' + $input_translate_index + '].value = ' + $all_text + ';'
Write-Host "script: " + $script_context
do_script $driver $script_context
翻訳実行
$translate_element = get_element_id $driver $do_translate_id
$translate_element.click()
翻訳待ち
for ($j = 0; $j -lt $CountWaitMax; $j++) {
Write-Host "wait translate count: " $j
Start-Sleep -Milliseconds $waitSleepMiliSeondTranslate
# 翻訳結果を取得
#$output_text_area = get_element_id $driver "textarea2"
#$translated_text = $output_text_area.Text # Textは空文字のまま
$script_context = 'return document.getElementsByTagName("textarea")[' + $output_translate_index + '].value;'
$translated_text = do_script $driver $script_context
if ($translated_text -ne "") {
  Write-Host "detect translated"
  break
}

}
クリア
$clear_element = get_element_id $driver $clear_translate_id
$clear_element.click()
return $translated_text
}
function set_output_text($driver, $target_element, $text) {
Write-Host "set output text: " + $text
既存内容を削除
TODO
ブラウザ上で見えていないとエラーとなる。フォーカス等して移動する必要がある？
長文はまだ扱えない。暫定的に拡大縮小で小さくしておく？
既存の文字列削除はよいやり方があれば変更
対象のセルを表示
$target_element.Click() # セルの選択
$target_element.Click() #
$target_element.Click() # Click3回連続で文字列の選択
$target_element.SendKeys(" ") # BACKSPACE/DELETE等ができないので、ひとまずスペースで削除する
テキストを代入
TODO
ひとまずSendKeysで入力とする
$target_element.SendKeys($text)
}
function translate_table() {
$get_rows_xpath = "//tr/td[1]/p[1]"
$table_item_size = get_element_xpath $driver_share $get_rows_xpath
for ($i = 2; $i -lt $table_item_size.Length + 2; $i++) { # 1行目は取れないので2から開始
Write-Host "rows index: " + $i
$notes_en_specify_xpath = "//tr[$i]/td[4]/p"
$notes_jp_specify_xpath = "//tr[$i]/td[5]/p"
$notes_vn_specify_xpath = "//tr[$i]/td[6]/p"
$notes_en = get_element_xpath $driver_share $notes_en_specify_xpath
$notes_jp = get_element_xpath $driver_share $notes_jp_specify_xpath
$notes_vn = get_element_xpath $driver_share $notes_vn_specify_xpath
$target_notes = $notes_jp
$all_text = ""
Write-Host "calls index: " + $target_notes.Length
for ($j = 0; $j -lt $target_notes.Length; $j++) {
  $cell = $target_notes[$j]
  Write-Host "text: " + $cell.Text
  $all_text += $cell.Text + $str_crlf
}
$target_notes = $all_text
if ($target_notes.Contains($translate_id) -eq $True) {
  $target_translate_driver = $driver_jp_en
  $target_output_element = $notes_en
  if ($target_translate_driver -ne $None) {
    $translated_text = translate_table_cells_element $target_translate_driver ($target_notes)
    set_output_text $driver_share $target_output_element[0] $translated_text
  }
  $target_translate_driver = $driver_jp_vn
  $target_output_element = $notes_vn
  if ($target_translate_driver -ne $None) {
    $translated_text = translate_table_cells_element $target_translate_driver ($target_notes)
    set_output_text $driver_share $target_output_element[0] $translated_text
  }
}

# TODO
#   英語をベトナム語と日本語に翻訳させる処理

# TODO
#   ベトナム語を英語と日本語に翻訳させる処理

}
}
################################################################################
function run-loop() {
while ($True) {
"loop start: "
translate_table

"sleep(ms): " + $sleepMiliSecond
Start-Sleep -Milliseconds $sleepMiliSecond

}
}
################################################################################
########
init
########
Import-Module Selenium
$driver_share = open_driver $target_url_share
TODO
手動操作を自動化
ログイン
鉛筆(編集)アイコンクリック
Read-Host "表示されたConfluenceにログインして、Enterキーを入力してください。"
Read-Host "対象のミーティング議事録のページに移動して、Enterキーを入力してください。"
Read-Host "鉛筆(編集)アイコンクリックして編集モードにして、Enterキーを入力してください。"
$driver_jp_en = open_driver $target_url_translate
TODO
手動操作を自動化
ログイン
翻訳設定(例：日本語->英語)
Read-Host "表示されたWeb翻訳にログインして、翻訳設定(日本語->英語)をして、Enterキーを入力してください。"
$driver_jp_vn = open_driver $target_url_translate
Read-Host "表示されたWeb翻訳にログインして、翻訳設定(日本語->ベトナム語)をして、Enterキーを入力してください。"
test
#translate_table
########
main
########
run-loop
close_driver $driver_jp_en

#4. 動作手順

事前に、以下のセットアップを実施します。

PowerShell Seleniumインストール
- 管理者権限でPowerShellを起動し、インストールコマンド「Install-Module Selenium」を実行
Google Chromeのインストール
Google Chrome Web Driverの取得(Chromeとバージョンを合わすことを推奨)
Confluenceのミーティング議事録のページを用意
- Confluenceのミーティング議事録のページをテンプレートから作成
- Discussion topics内のNotesの列の右に2つ列(日本語用のNotes:jp、ベトナム語用のNotes:vn)を作成
上記3章のPowerShellプログラムのパラメータ設定
- chromeExePath：Chromeの実行ファイルパスを指定
- chromeWebDriverDirPath：Chrome Web Driverのフォルダパスを指定(注：実行ファイルパスではありません)
- target_url_share：Confluenceミーティング議事録のURL
- target_url_translate：Web翻訳のURL
- 以下は必要があれば変更
  - sleepMiliSecond：翻訳の実行間隔をミリ秒で指定
  - CountWaitMax：翻訳待ちの回数
  - waitSleepMiliSeondTranslate：翻訳待ちのインターバル時間(ミリ秒)
  - translate_id：翻訳実施識別子(この文字列があると翻訳が実行される)

ミーティング時は以下のように動作させる想定です。

起動
- 上記3章のPowerShellプログラムを実行(操作説明のメッセージが表示されたら、以下の操作をしてEnterを入力していく)
- Confluenceのログイン画面が表示されたら手動でログイン(今後自動化させたい処理です)
- Web翻訳ページが表示されたら翻訳設定(例：日本語->英語)(今後自動化させたい処理です)
翻訳
- 上記の起動で表示されたのとは別に、ChromeブラウザでConfluenceのミーティング議事録を開く
- 新たに開いたConfluenceのミーティング議事録のNotes:jpの列のセルに、日本語で議事トピックを記載していく
  - translate_idの識別子(デフォルト「〓〓」)を記載しておくと、一定間隔(デフォルト1秒ループ)で定期的に翻訳される
  - 翻訳しなくてよくなったら、translate_idの識別子(デフォルト「〓〓」)を削除します

#5. さいごに

実際のミーティングで、まだ動作検証できていないので、色々と問題点等が出てくるかと思いますが、
まずはお試しとして活用して、必要に応じて改善していければと思っています。

あと、今回のようにConfluenceを活用するのではなく、Teamsのホワイトボードや、TeamsのPowerPoint、Webホワイトボードサービス等、いくつかの候補を検討しました。
どれも画像イメージが共有でき、複数ユーザで同時編集が可能そうなので。
どれが適しているかは、まだわかっていないで、時間があり可能であれば、色々試してみたいところです。

では、最後までお読みいただきありがとうございました。
何かの参考になれば幸いです。

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up