概要

Google翻訳とDeepLの違いの例をN例(N=1)示す。

例１（逐次日本語化[Google翻訳].vs.日本語として意味が通りやすい構成にしての日本語化[DeepL]）

英文：
When you're trying to understand a new algorithm your first step is usually to do some research to try to find what kind of sources and tutorials and papers are out there on the subjects.

Google翻訳

新しいアルゴリズムを理解しようとしているときの最初のステップは、通常、調査を行って、その主題に関するどのようなソースやチュートリアル、論文が出回っているのかを見つけることです。

DeepL翻訳

新しいアルゴリズムを理解しようとするとき、最初のステップは、通常、どのようなソースやチュートリアル、論文が出回っているかを調べるために、いくつかの調査を行うことです。

⇒確認できた違いは、

Google翻訳は、英文の文章の順のまま、それを日本語に、逐次おとす。すなわち、英語ネイティブの人の頭の中の状態を日本語にする、感じ。DeepLは、大きく文章の順番を入れ替えて日本語の文章の順にしてしまう。

※このような傾向が常にあるのはは、N=1なので、全く不明。

※DeepLをたたえるとした場合、

Google翻訳に比して、前後に1層レイヤが多いのかも、と感じることがある。
具体的には、1層（1段）深く、抽象化。
また、出力において、日本語らしさの飾りつけを1段（1層）多く実施している。

イメージ。褒めすぎかも。。。。

例２（一文が極端に長い文章の翻訳。いじわるテストに近いです。）

https://thejohnfox.com/long-sentences/　から引用
Tolstoy, “War and Peace.” 307 words.　（トルストイです。）

英文：
“But Count Rastopchin, who now shamed those who were leaving, now evacuated government offices, now distributed good-for-nothing weapons among the drunken riffraff, now took up icons, now forbade Augustin to evacuate relics and icons, now confiscated all private carts, now transported the hot-air balloon constructed by Leppich on a hundred and thirty-six carts, now hinted that he would burn Moscow, now told how he had burned his own house and wrote a proclamation to the French in which he solemnly reproached them for destroying his orphanage; now he assumed the glory of having burned Moscow, now he renounced it, now he ordered the people to catch all the spies and bring them to him, now he reproached the people for it, now he banished all the French from Moscow, now he allowed Mme Aubert-Chalmet, the center of all the French population of all Moscow, to remain in the city and ordered the old and venerable postmaster general Klyucharev, who had done nothing particularly wrong, to be arrested and exiled; now he gathered the people on the Three Hills to fight the French, now, in order to be rid of those same people, he turned them loose to murder a man and escaped through a back gate himself; now he said he would not survive the misfortune of Moscow, now he wrote French verses in an album about his part in the affair—this man did not understand the meaning of the event that was taking place, but only wanted to do something himself, to astonish someone or other, to accomplish something patriotically heroic, and, like a boy, frolicked over the majestic and inevitable event of the abandoning and burning of Moscow, and tried with his little hand now to encourage, now to stem the flow of the enormous current of people which carried him along with it.”

Google翻訳

しかし、今や去っていく人々を恥じ、今や政府機関を避難させ、酔っ払ったリフラフに何の役にも立たない武器を配布し、今やアイコンを取り上げ、今やオーガスティンが遺物やアイコンを避難させることを禁じ、今やすべての私用カートを没収したラストピン伯爵レピッチが作った熱気球を136台のカートに乗せて運び、モスクワを燃やすとほのめかし、自分の家を燃やした方法を伝え、フランス人に宣言を書いて厳粛に非難した。彼の孤児院を破壊する。今、彼はモスクワを燃やした栄光を引き受けました、今彼はそれを放棄しました、今彼は人々にすべてのスパイを捕まえて彼に連れて行くように命じました、今彼はそれのために人々を非難しました、今彼はモスクワからすべてのフランス人を追放しました、今彼はモスクワ全土のフランス人人口の中心であるMmeAubert-Chalmetが市内に留まるのを許可し、特に悪いことを何もしなかった古くて由緒ある郵政長官Klyucharevを逮捕して追放するよう命じた。今、彼はフランス人と戦うためにスリーヒルズに人々を集めました、今、それらの同じ人々を追い払うために、彼は男を殺すために彼らを解き放ち、彼自身裏門を通って逃げました。今、彼はモスクワの不幸を乗り切ることはできないと言った。今、彼は事件の彼の部分についてアルバムにフランス語の詩を書いた。この男は起こっている出来事の意味を理解していなかったが、自分で何かをしたかっただけだった。誰かを驚かせたり、愛国心が強い英雄的なことを成し遂げたり、少年のように、モスクワを放棄して燃やしたりするという壮大で避けられない出来事をはじき飛ばし、今は小さな手で励まし、今は流れを止めようとしました。それと一緒に彼を運んだ人々の巨大な流れ。

DeepL翻訳

しかし、ラストプーチン伯爵は、去る者を辱め、官公庁を疎開させ、無用な武器を酔っ払いに配り、イコンを取り上げ、アウグスティンに聖遺物やイコンを疎開させることを禁じ、個人のカートをすべて没収した。レピッヒの作った熱気球を百三十六台の荷車で運び、モスクワを燃やすことをほのめかし、自分の家を燃やしたことを語り、フランス人に向けて、自分の孤児院を破壊したことを厳粛に非難する布告書を書いた。今度はモスクワを焼いたという栄光を手に入れ、今度はそれを放棄し、今度は民衆にスパイをすべて捕まえて自分のところに連れてくるように命じ、今度は民衆を非難し、今度はモスクワからすべてのフランス人を追放し、今度はモスクワ中のフランス人の中心であるオーベール＝シャルメ夫人をモスクワに留めることを許し、特に悪いことをしていない年老いた由緒正しい郵便局長クリュチャレフを逮捕して追放するように命じた。フランス人と戦うために3つの丘の人々を集めたが、その人々を排除するために、彼らを人殺しに解放し、自分は裏門から逃げ出したという。この男は、起こっている出来事の意味を理解せず、ただ自分で何かをしたい、誰かを驚かせたい、愛国的に英雄的なことを成し遂げたいと思っていた。少年のように、モスクワの放棄と焼却という壮大で必然的な出来事の上ではしゃぎ、小さな手で、今度は自分を運んでくる巨大な人の流れを励まし、今度は食い止めようとした。

⇒確認できた違いは、
基本的に、**両方とも、破綻しているハズ。**まだ、丁寧に見られていませんが。

Google翻訳の

を没収したラストピン伯爵レピッチが作った熱気球

とかの部分は、完全にめちゃくちゃになっている。

例3 どちらもダメ

太字の部分。
論文。Sparse Attentive Backtracking: Temporal Credit Assignment Through Remindingの概要の部分。

英文：

Learning long-term dependencies in extended temporal sequences requires credit assignment to events far back in the past. The most common method for training recurrent neural networks, back-propagation through time (BPTT), requires credit information to be propagated backwards through every single step of the forward computation, potentially over thousands or millions of time steps. This becomes computationally expensive or even infeasible when used with long sequences. Importantly, biological brains are unlikely to perform such detailed reverse replay over very long sequences of internal states (consider days, months, or years.) However, humans are often reminded of past memories or mental states which are associated with the current mental state. We consider the hypothesis that such memory associations between past and present could be used for credit assignment through arbitrarily long sequences, propagating the credit assigned to the current state to the associated past state. Based on this principle, we study a novel algorithm which only back-propagates through a few of these temporal skip connections, realized by a learned attention mechanism that associates current states with relevant past states. We demonstrate in experiments that our method matches or outperforms regular BPTT and truncated BPTT in tasks involving particularly longterm dependencies, but without requiring the biologically implausible backward replay through the whole history of states. Additionally, we demonstrate that the proposed method transfers to longer sequences significantly better than LSTMs trained with BPTT and LSTMs trained with full self-attention.

Google翻訳

拡張された時系列で長期的な依存関係を学習するには、はるか昔のイベントにクレジットを割り当てる必要があります。リカレントニューラルネットワークをトレーニングするための最も一般的な方法である、時間による逆伝播（BPTT）では、クレジット情報を順方向計算のすべてのステップ、場合によっては数千または数百万のタイムステップにわたって逆方向に伝播する必要があります。これは、長いシーケンスで使用すると、計算コストが高くなるか、実行不可能になります。重要なことに、生物学的脳は、内部状態の非常に長いシーケンス（日、月、または年を考慮）にわたってそのような詳細な逆再生を実行する可能性は低いです。しかし、人間はしばしば過去の記憶または現在の精神状態に関連する精神状態を思い出します。過去と現在の間のそのような記憶の関連付けは、現在の状態に割り当てられたクレジットを関連する過去の状態に伝播する、任意の長いシーケンスを介したクレジットの割り当てに使用できるという仮説を検討します。この原理に基づいて、現在の状態を関連する過去の状態に関連付ける学習された注意メカニズムによって実現される、これらの一時的なスキップ接続のいくつかを介してのみ逆伝播する新しいアルゴリズムを研究します。**実験では、特に長期的な依存関係を伴うタスクで、通常のBPTTおよび切り捨てられたBPTTと一致するか、それを上回っていますが、状態の履歴全体を通じて生物学的に妥当でない逆再生を必要としないことを示しています。**さらに、提案された方法が、BPTTでトレーニングされたLSTMおよび完全な自己注意でトレーニングされたLSTMよりも大幅に長いシーケンスに転送されることを示します。

DeepL

時間的に延長されたシーケンスの長期的な依存関係を学習するには，過去にさかのぼってイベントを信用する必要がある．リカレント・ニューラル・ネットワークを学習する最も一般的な方法であるBPTT（Back-propagation through time）では、信用情報を前方計算の各ステップに逆伝播させる必要があり、数千から数百万の時間ステップを要する可能性があります。これは、長いシーケンスで使用する場合、計算コストが高くなり、実現できないこともあります。重要なのは、生物の脳は、非常に長い内部状態のシーケンス（数日、数ヶ月、数年を考えてください）に対して、そのような詳細な逆再生を行う可能性は低いということです。しかし、人間はしばしば、現在の精神状態に関連する過去の記憶や精神状態を思い出すことがあります。本研究では、このような過去と現在の記憶の関連付けを、任意の長さのシーケンスを介して、現在の状態に割り当てられたクレジットを関連する過去の状態に伝播させることで、クレジットの割り当てに利用できるのではないかという仮説を考える。この原理に基づいて、我々は、現在の状態と関連する過去の状態を関連付ける学習された注意メカニズムによって実現される、これらの時間的スキップ接続のうちのいくつかのみをバックプロパゲーションする新しいアルゴリズムを研究する。**実験では、本研究の手法が、特に長期的な依存関係を伴う課題において、通常のBPTTや切断型BPTTと同等かそれ以上の性能を発揮することを実証した。ただし、生物学的にはありえないことだが、状態の履歴をすべて遡って再生する必要はない。**さらに、提案手法は、BPTTで学習したLSTMや、完全な自己注意で学習したLSTMよりも、より長いシーケンスに移行することを実証した。

まとめ

特になし。

この記事の背景

自己注意Self-Attention の解説でわかりやすいと思った記事N選　(まだ、N＝9）

の記事※で、Youtube（英語）を聞いていて、（基本、わたしく、リスニングができないので、）字幕をテキストに落として、それを読み上げツールに読ませリスニングの練習をしようとしている。その作業中に、面白い差異だと感じたので、記事にした。

※記事の中の、
BERT Research - Ep. 5 - Inner Workings II - Self-Attention(ChrisMcCormickAI,Youtube)　
関連。