はじめに

Andrew先生がタイムリーな動画を公開していたので、翻訳してみました。

動画:

文字起こしはWhisperでやりました。私の解釈が入らないよう、できるだけ直訳するようにしました。では本編をどうぞ。

本編

[Andrew]

こんにちは。AI システムの構築に関する 6 か月コースのライブストリームへようこそ。私は DeepLearning.ai の創設者である Andrew Ng です。今日ここに参加していただけることを嬉しく思います。そして私と一緒にいるのは、Meta の副社長兼チーフ AI サイエンティストであり、NYU の教授であり、チューリング賞の受賞者でもある Yann LeCun です。 Yann と私は長い間友人関係にあり、彼も私も、この 6 か月のモラトリアムの提案について熟考し、十分に重要なトピックであると感じました。たとえば、政府がそれを実施した場合、実際には重大な害をもたらすと思います。しかし、ヤンと私は、今日ここであなたとそれについて話したいと思っていました. ヤン、これについてあなたとチャットできて光栄です。

[Yann]

こんにちはアンドリュー。ご一緒できて光栄です。

原文

[Andrew] Hi, and welcome to this live stream on this proposed six-month course on building AI systems beyond a certain scale. I'm Andrew Ng, founder of DeepLearning.ai, and I'm delighted to have you join me here today. And with me also is Yannn LeCun, who is VP and Chief AI Scientist at Meta, Professor at NYU, and Turing Award winner. So Yann and I have been friends for a long time, and both he and I have thought at length about this six-month moratorium proposal and felt it was an important enough topic. I think it would actually cause significant harm if, say, a government were to implement it. But Yann and I felt like we wanted to chat about it with you here today. Hey, Yann, glad to be chatting with you about this.

[Yann]
Hi, Andrew. It's a pleasure to be here.

[Andrew]

状況を要約すると、過去 10 年間、あるいは過去 2,30 年間で、AIの非常にエキサイティングな進歩が見られたと思います。ディープラーニングはうまく機能しています。そして、ここ1、2年でも、ChatGPT、LLaMAのようなジェネレーティブAIシステム、Midjourney、stable diffusion、DALL-Eなどの画像生成AIにより、AIの進歩はさらに加速しているように感じます。AIがさらに速くなったような気がします。それに関連して、AIがもたらす、公平性、偏見、社会的経済的変化について心配する人がいます。また、邪悪なキラーロボットになるような AGI(汎用人工知能)に関する先走った懸念もあります。私はこの懸念について、今日の本当の危害の可能性と、人々が心配している将来の他の危害の可能性という、2種類の懸念があると考えます。このような懸念を基に、Future Life Institute は、OpenAI の GPT-4 モデルよりもさらに強力な AI モデルのトレーニングを 6 か月間一時停止するよう求めました。そして、私たちの友人であるジョシュア・ペンジョ、スチュアート・ラッセル、イーロン・マスクを含む多くの人々、非常に賢い人々がこの提案に署名しました.

Yann も私も、この提案について気にしています。それでは始めてみましょう。この提案に対するあなたの見解を共有していただけますか？

[Yann]

これに対する私の最初の反応は、研究と開発の遅れを私のような研究者に求めていることは、蒙昧主義の新しい波であると思います。なぜ知識と科学の進歩を遅らせる必要があるのでしょうか。次に、製品の問題があります。私は、人々の手に渡る製品を規制することには賛成ですが、研究開発を規制する意味はわかりません。このような行為は、実際にテクノロジーをより良く、より安全にするために使用できる知識を減らす以外の目的には役立たないと思います。

原文

[Andrew] So just to summarize the situation, I think over the last decade, or maybe even over the last longer, 20, 30 years, we've seen very exciting progress in AI. Deep learning is working well. And then even in the last one or two years, it feels like maybe there's even a further acceleration of progress in AI with generative AI systems such as ChatGPT, LLaMA, also image generation, Midjourney, stable diffusion, and DALL-E. It feels like maybe AI has gotten even faster. And associated with that, there are people that worry about AI, you know, fairness, bias, social economic displacement. There are also the further out speculative worries about AGI, evil-scented killer robots. But I think that there are real worries about harms, possible real harms today and possibly other harms in the future that people worry about. So in this environment, the Future Life Institute put out a call for a six-month pause on moratorium on training AI models that are even more powerful than OpenAI's GPT-4 model. And a number of people, very smart people, including our friend Joshua Penjo, Stuart Russell, Elon Musk, signed on to this proposal.

I think Yann and I are both concerned about this proposal. But Yann, why don't you start? Do you want to share your take on this proposal?

[Yann]
Well, my first reaction to this is that calling for a delay in research and development smacks me of a new wave of obscurantism, essentially. Why slow down the progress of knowledge and science? Then there is the question of products. I'm all for regulating products that get in the hands of people. I don't see the point of regulating research and development. I don't think this serves any purpose other than reducing the knowledge that we could use to actually make technology better, safer also.

[Andrew]

実際今日のAIには、偏見、公平性、権力の集中など、人々に害を及ぼすリスクがいくつかあります。これらは現実の問題だと思います。しかしながらAIはまた大きな価値を生み出していると思います。過去10年間、さらには過去1年かそこら、ここ数か月の間に現れた数多くのAI活用のアイデアの数と、それを教育やヘルスケア、レスポンシブコーチングに活用することは、信じられないほどエキサイティングで価値のあることだと思います。多くの人が、AIを使用して他の人々を支援しています。今日のGPT-4は驚くべきものですが、GPT-4よりも優れたものを構築することで、これらすべてのアプリケーションを支援し、多くの人々を助けることができると思います。

ですのでその進歩を停止すると、多くの害が生じ、多くの人々を助ける価値のあるものを作り出すことが遅くなるように思われます。

[Yann]

そのとおりです。レターのさまざまな署名者には、おそらくいくつかの動機があるのだと思います。

署名者の中の一部は、おそらく極端に言えばある時点でAGIがオンになり、すぐさま人類を排除し始めることを心配しています。この種のシナリオを本当に信じている人、またはそれが止められない明確な脅威であると信じている人は実際にはほとんどいないと思います。

それから、対処する必要のある実際の潜在的な危害や危険があると考える人々がいます。私は彼らの懸念は合理的であると思いますし、その懸念に同意します。 AIシステムを制御可能にすること、AIシステムが情報を提供することになっている場合にそれらを事実に基づいたものにすることなど、AIには多くの問題があります。そして将来の AIシステムは、GPTや GPT-4などの現在の自己回帰要素や、Galactica や Bard などの以前のシステムと同じ設計で設計されるようなものではないという意味で、少し想像力が欠けていると思います。これらのシステムをより制御しやすくする新しいアイデアが生まれると思います。つまりこのような問題は、人間の価値観やポリシーに沿ったシステムの目的を設計するという問題になります。そしてご存知のように、私たちはどういうわけか、システムを超インテリジェントに構築することはできるが、適切に動作するように優れた目標を設計することはできない、と考えると、非常に強力な仮定だと思います. それはあり得ることです。

そして、ご存知のように、どちらがより政治的な問題であるかという問題があります。実際には、人々と経済にどのような影響があるかという問題です。これは現時点でこれらの製品が生産されているという事実によるものです。権力と影響力を獲得しようとしていて、利益に動機付けられている非常に少数の企業によって開発されています。それには本質的なリスクがあるのでしょうか？

そして、これに対する答えは、明らかに適切な規制ですが、研究を止めることではありません。製品を規制することになるでしょう。

原文

[Andrew]

In fact, I feel like while AI today has some risks of harm, like bias, fairness, concentration of power, those are real issues. I think that it's also creating tremendous value. I think with deep learning over the last 10 years and even the last year or so, the last many months, the number of gents of AI ideas and how they use it for education or health care, responsive coaching, is incredibly exciting value that so many people are creating to help other people using AI.And I think that as amazing as GPT-4 is today, building an even better than GPT-4 will help all of these applications that help a lot of people.

So pausing that progress seems like it would create a lot of harm and slow down the creation of very valuable stuff that will help a lot of people.

[Yann]

Right. And I think there is probably several motivations from the various signatories of that letter.

Some of them are perhaps on one extreme are worried about, you know, AGI being turned on at one point and then eliminating humanity on a short notice. I think few people really believe in this kind of scenario or believe it's a definite threat that cannot be stopped.

Then there are people I think are much more reasonable who think that there is real potential harms and danger that needs to be dealt with. And I agree with them. There is a lot of issues with AI making AI systems controllable, making them factual if they are supposed to provide information, et cetera, making them non-toxic. And I think there there is a bit of a lack of imagination in the sense of it's not like future AI systems would be designed on the same blueprint as current autoregressive elements like GPT and GPT-4 or other systems before them like Galactica or Bard or, you know, whatever. I think there's going to be new ideas that are going to make those systems much more controllable.

And so the problem of then it becomes a problem of designing objective for those systems that are aligned with human values and policies. And I think, you know, thinking that somehow we're smart enough to build a system to be super intelligent and not smart enough to design good objectives so that they behave properly, I think is a very, very strong assumption. That is just not is very, very low probability.

And then, you know, there is the question of which is more kind of a political question really is the question of what impact on people and the economy will be due to the fact that, you know, those products at the moment are produced by a very small number of companies that are going to gain power and influence and are motivated by the profit motive. Does that have, you know, intrinsic risks?

And the answer to this is proper regulation, obviously, but not stopping R&D. It's regulating products.

[Andrew]

AIを規制することについて私は複雑な気持ちを持っていますが、ここ数年の急速な進歩のなかで、AIが有害ななスピーチを生成するという実際の問題を私達が認識する中で、AIを適切に動作させることは興味深いことです。これは現実の問題です。

GPT-3のような言語モデルから Chai GPTや GPT 3.5 Turboなどのモデルへ移行したとき、あまり多くの人が喜んだわけではありませんでした。実はここに大きな進歩がありました。モデルの毒性ははるかに低くなり、完璧とはほど遠いものではありますが、より有用になりました。これはモデルへの指導に関して実際の進歩が見られたためです。これが多くの企業がその方向にシフトしている理由です。むしろアクセルを踏んでAIの安全性を倍増させAIを調整することは、全面的な一時停止を提案するよりも建設的だと思います。

あなたは "AI-Doomer" と呼んでいますが、"AI-Doomer" によって話されていることに検討に値するものがあるとは思えません。実際、Yann さん、あなたは長い間、AI の誇大宣伝に反対してきました。ディープラーニングが新しく登場したとき、多くの人がディープラーニングでできることとできないことについて非現実的な期待を抱いていたと思います。正直に言うと私は過去自動運転車について楽観的すぎ、その間違いを犯しました。多くの人々が、それができることできないことを過大評価しており、残念ながら誇大宣伝に少しづつ貢献しました。そして、あなたと私は誇大宣伝に反対してきました。

この種の "AI-Doomer" の言葉、または AIによる破滅という話は、実際には、AIが人間のコントロールから抜け出し、私たち全員を圧倒する可能性がある、とする別のタイプの誇大広告だと思います。このようなAIによる破滅を煽ることは非現実的な予測を生み出すため、有害であると思います。

[Yann]

同意します。また、ChatGPTや GPT-4のようなものが人々の手に渡ったこと、それらの Microsoftバージョンが人々の手に渡ったこと、そして人々がそれで遊んでいるという事実も、おそらく私たちが人間レベルの知性に近づいているという印象を与えると思います。私たちは人間として、非常に言語指向だからです。何かが流暢であればそれは知的でもあると私たちは考えますが、そうではありません。

それらのシステムは現実を非常に表面的に理解しています。彼らは現実の経験を全く持っていません。彼らは純粋にテキストから訓練されています。 GPT-4は画像でも少しトレーニングされていますが。しかしほとんどの場合、彼らの世界に対する理解は非常に表面的です。これが、彼らが本質的に説得力があるように聞こえるがそうではないナンセンスを生み出す理由の1つです。私たちは人間レベルの知性にそれほど近づいていません。

これは誇大宣伝ではなく、今後数十年のうちに、すべての領域で人間の知能と同等またはそれを超える知能レベルを持つシステムが存在することは間違いありません。しかし、人間の知性は非常に専門的です。私たちは一般的な知性を持っていると思っていますが、そうではありません。私たちは信じられないほど専門的です。そして、将来のシステムは、あらゆる分野で私たちよりもはるかに優れたものになるでしょう。これが起こることに疑いの余地はありません。しかしそれは明日に起きるわけではありません。

少なくとも人間の知性に到達する可能性があるシステムのある種の青写真ができるまで、それらを適切に安全にする方法などについての議論は時期尚早だと思います。車が存在しない場合、車のシートベルトを設計しますか？飛行機をまだ発明していないのに、どうやって安全なジェットエンジンを設計できるのでしょうか？これらの質問のいくつかは時期尚早だと思います。また、その将来に対するパニックは少し間違っていると思います。

原文

[Andrew]

You know, about aligning AI, I have mixed feelings about that term, but getting AI to behave well, it's actually been interesting to see the rapid progress in the last few years, acknowledging the real problems of, you know, AI generating toxic speech. Those are real problems.

But I feel like not everyone appreciates when we move from base language models like GPT-3 to the instruction to models like Chai GPT or GPT 3.5 Turbo or whatever. That was real progress. I think the models are now much less toxic, far from perfect, and they still make stuff up. But I'm seeing real progress with instruction to models, and this is why many companies are shifting in that direction.

But I think that stepping on the gas and doubling down on AI safety and aligning AI, that feels more constructive than proposing a blanket pause.

And actually, you're using the term AI-doomers. I don't think that's an interesting term. Actually, I feel like you, Yann, for a long time, you've been speaking up against AI hype. You know, I think when deep learning was new, a lot of people had unrealistic expectations about what it could and couldn't do. And frankly, I think I was overoptimistic about self-driving cars too, so I made that mistake. But a lot of well-meaning people just overestimated what it could and could not do and unfortunately contributed a little bit to hype. And you and I have been speaking against hype.

And I think this type of AI-doom saying, or AI-doom as your terminology, I think is actually another type of hype that AI could escape and overpower us all. And that type of AI-doom saying hype is, I think, also harmful because it also creates unrealistic expectations.

[Yann]

I agree. And I think also the fact that now things like ChatGPT and GPT-4 have been in the hands of people and then the Microsoft version of them, that people have been playing with it, it gives the impression, perhaps, that we are closer to human-level intelligence. Because we, as humans, we're sort of very language-oriented. We think that when something is fluent, it's also intelligent, but it's not true.

And those systems have a very superficial understanding of reality. They don't have any experience of reality, really. They're trained purely from text. I mean, GPT-4 is trained a little bit with images as well. But mostly, their understanding of the world is extremely superficial. And this is one reason why they can essentially produce nonsense that sounds convincing, but isn't. And we're not that close to human-level intelligence.

There is no question in my mind, and this is not hype, there is no question in my mind that sometimes in the next few decades we'll have systems whose intelligence level equals or surpasses human intelligence in all the domains where humans are intelligent. But human intelligence is very specialized. We think we have general intelligence, but we don't. We're incredibly specialized. And those systems are going to be much better than us in all kinds of domains. There's no question this will happen. It's not going to happen tomorrow.

Until we have some sort of blueprint of a system that has at least a chance of reaching human intelligence, discussions on how to properly make them safe and all that stuff is, I think, premature, because how can you, I don't know, design seat belts for a car if the car doesn't exist? How can you design safe jet engines if you haven't invented the airplane yet? So I think some of those questions are premature, and I think a bit of the panic towards that future is misguided.

[Andrew]

過去1年間で AIは非常にエキサイティングな進歩を遂げたかもしれません。次の30年または50年も非常にエキサイティングな進歩を続けていくことを願っています。その先にいわゆるAGIを獲得する日が来るのかもしれません。しかし私たちがそれに近づくまでは、それがどうなるかを知るのは本当に難しい.そしてAGIのようなものにたどり着くために50年の旅を続けているとき、次の49年半の作業の前に半か月(訳注:半年の言い間違い)の一時停止をすることについて、なぜそれがすぐに役立つのか、私にはよくわかりません。

[Yann]

ええ。つまり、私たちは人間の知性に近づいていないことは明らかです。そうでなければ、あなたがおっしゃったように、レベル 5 の自動運転が実現するでしょうが、そうではありませんよね？10代の若者が約20時間のトレーニングで運転を習得できるのはなぜでしょうか？自動運転車はありませんが、言語に堪能なシステムがあります。しかし、訓練されたデータの量は1兆ワードの規模であり、人間がこれを1日8時間読むには 22,000 年かかります。つまり、それは非常識ですよね？

明らかに、これによって形成される種類の知性は私たちが人間として見出すタイプのものではありません. つまり、これはモラベックのパラドックスのもう1つの例です。チェスをしたりテキストを書いたりするなど、知性の面で私たちには洗練されているように見えることは、マシンにとっては比較的単純であることがわかります。一方10歳の子供なら誰でもできること、つまりディナーテーブルを片付け、食器洗い機をいっぱいにする。これができるロボットはまだありません。

アンドリュー、君はたしかこれに挑戦していましたよね。ですが・・・

原文

[Andrew]

So maybe we've made one year of wildly exciting progress in AI in the last one year, and hopefully we'll keep on making wildly exciting progress in the next 30 or 50 years, and then maybe we'll have some sort of AGI then. But until we're closer, it's really difficult to know how that will go. And as we're on that 50-year journey, say, to get to AGI or whatever, a half-month pause before the next 49 and a half years of work, I'm not really seeing why that's quickly helpful.

[Yann]

Yeah. I mean, clearly we're not anywhere close to human intelligence. Otherwise, we would have level five autonomous driving, as you were mentioning, and we don't, right? How is it that a teenager can learn to drive in about 20 hours of training? And we don't have self-driving cars, and we have systems that are fluent in language. But the amount of data they've been trained on, which is on the order of a trillion words, it would take on the order of 22,000 years for a human reading eight hours a day to go through this. I mean, that's just insane, right?

So clearly the kind of intelligence that is formed by this is not the type that we observe in humans. If we did, I mean, it's another example of the Moravec paradox, things that appear sophisticated to us in terms of intelligence, like playing chess and writing text, turn out to be relatively simple for machines, whereas things we take for granted, which any 10-year-old can do, I don't know, clearing out the table, the dinner table, and filling up the dishwasher. We don't have robots that can do this yet.

You worked on this, Andrew, I remember, on the filling up the dishwasher, but it's not...

[Andrew]

私は楽観的ですよ(笑)

では私達は合意に達しましたね。AGIからはまだ程遠い。

原文

[Andrew]

Oh, totally optimistic.

Yeah, and then we'll see. So I think you agree, right? We're very far from AGI.

[Andrew]

すみません、これを見ている皆さん、YouTube ライブストリームにSlidoへのリンクがあります。ヤンと私は、みなさんの質問にアクセスできますので、約 10 分程度でそこで、みなさんの質問を受け付けたいと思います。もし何か質問がある場合はお寄せください。

原文

[Andrew]

Oh, sorry, I think all of you watching this, the YouTube livestream also has a link for Slido comments. I think Yann and I, we both have access to everyone's questions. We'll jump to that in about 10 minutes or something and take people's questions. So if you have any popular questions in the Slido link on the YouTube livestream.

[Andrew]

さて、AIや、AGI、AIの逃亡といった問題に加えて、提案が示す課題の1つは、それが実装可能に見えないことだと思います。

たとえば、AIをより安全に研究するという提案は、おそらく透明性の確保や監査を増やし、NSFやAIの基礎研究を行っている公的な機関ところに公開することは建設的な提案になると思います。

しかし、AIラボに研究速度を落とすよう求めるという考えは、特にこのような高度なテクノロジーを構築しようとするラボや国との競争の激しい競争下において多くの価値を生み出している状況下では、実践的ではないし、私にはそれが実際に適用可能であるとは思えません
。

そして政府が AIを一時停止する法律を可決して介入した場合状況はより悪化します。これは本当にひどい政策です。率直に言って、政府でさえ完全に理解していない製品やテクノロジーをスローダウンさせる法律を可決することは、政府にとって良い考えだと思いません。

[Yann]

そのとおりだと思います。私たちがGPT-4や GPT、あるいは OpenAIが現在発表しているものについて話しているとき、私たちは研究開発について話しているのではありません。製品開発の話をしています。OpenAIは、その名前が示すように比較的オープンな AI研究所から、営利目的の会社へと方向転換し、現在は主に Microsoft向けの契約研究機関のようなもので、製品開発を行っていますが、製品について、またそれらがどのように機能するかについて何も明らかにしていません。

つまり製品開発なのです。 AIの研究開発ではありません。そして製品開発をいつ止めるかが問題だと思います。公共の安全を危険にさらす場合、一般に公開される製品を規制したいと思うかもしれません。明らかにそこは政府が介入すべきところです。それは、薬、飛行機、車、そして消費者が関わるほぼすべてのものに対して行うことです。したがって、ここでのある程度の規制は、それが正しく行われていれば、必ずしも悪いことではありません。

しかし、あなたはテクノロジーを規制しません。テクノロジーの研究開発を規制することはありません。例を挙げましょう。また、人々が必要としているテクノロジーを規制する場合は、非常に注意する必要があります。私はソーシャルネットワーク上のいくつかの投稿でこの例を使用して、同様のタイプの反射的な反応がありました。

例えば、印刷機が出現し始めたとき、カトリック教会はそれが社会を破壊すると言って非常に抵抗しました。そしてその懸念は現実のものとなりました。印刷機は人々が聖書を読むことを可能にし、プロテスタント運動を生み出したからです。そしてご存知のように、ヨーロッパで数百年にわたる宗教戦争などの悪い副作用もありました。しかしそれはまた啓蒙主義と、ご存知のように、科学と合理主義と民主主義の普及を可能にし、米国の創設につながりました。したがって、これは全体的に良い効果がありました。したがって、このような新しいテクノロジーが導入されたときに必要なことは、メリット、プラスの効果が最大化され、マイナスの効果が最小化されることを確認することです.

しかし、それは必ずしもそれを止めることを通過するわけではありません。印刷機が登場したとき、オスマン帝国はそれを止めました。彼らは、これが人々に宗教的正統性や彼らの政治的権力から外れたものを考えさせるのではないかと懸念していたからです。そして、ご存知のように、オスマン帝国は当時数学と科学でかなり支配的でしたが、人々の知性を増幅するシステムを停止することによって、知的な後進国になりました。人間性の進展という意味で、後退したのです。

つまり、AI は人間の知能を増幅したものになるということです。そのおかげで新しいルネサンスが見られるかもしれません。望めば新たな悟りになるかもしれません。そして、なぜそれを止めたいのでしょうか？

原文

[Andrew]

So in addition to the problems with the premises of this AI, AGI, AI escape, I think one of the challenges as well with the proposal is it doesn't seem implementable. I feel like some things aren't implementable.

So, for example, I think that having proposing that we do more to research AI safely, maybe more transparency, auditing, let's have more public, NSF or other public funding for basic research on AI. Those would be constructive proposals.

But the idea of asking AI labs to slow down, especially in this, you know, frankly, competitive business environment with labs and countries trying to build advanced technologies is actually creating a lot of value, it just doesn't seem practical, implementable to me.

And the only thing worse than that would be if government steps in to pass legislation to pause AI, which would be really terrible innovation policy. I kind of imagine it being a good idea for government to pass laws to slow down products or technology that even the governments and frankly even that don't fully understand.

[Yann]

Right. And when we're talking about GPT-4 or GPT or whatever OpenAI puts out at the moment, we're not talking about research and development. We're talking about product development. OK, so OpenAI kind of pivoted from an AI research lab that was relatively open, as the name indicates, into a for-profit company and now kind of a contract research lab for mostly for Microsoft that is product development and doesn't reveal anything about the product anymore, about how they work.

So this is product development. It's not AI R&D. And when stopping the product development, I think, is a question. You want to perhaps regulate products that are made available to the public if they endanger public safety. Obviously, that's where government should intervene. That's what it does for drugs and airplanes and cars and just about everything that consumers can put out. So some level of regulation here, if it's done right, is not necessarily a bad thing.

But you don't regulate the technology. You don't regulate R&D in a technology that's, you know, I'm going to give you an example. Also, you have to be very careful if you regulate technology that people want and helps. So I've used this example on some of my posts on social networks that there was knee-jerk reactions of similar types.

For example, when the printing press started popping up, the Catholic Church was extremely resistant to it because they said it would destroy society. And it did. Because it basically enabled people to read the Bible and it created the Protestant movement. And, you know, also had bad side effects like religious wars in Europe for a couple hundred years. But it also enabled the dissemination of the Enlightenment and, you know, science and rationalism and democracy, which resulted in the creation of the United States, by the way. So this had overall a good effect. So what we need to do when a new technology is put in place like this is make sure the benefits, the positive effects are maximized and the negative ones are minimized.

But that doesn't necessarily go through stopping it. The Ottoman Empire, when the printing press appeared, stopped it because they were concerned that, again, this would kind of get people to think outside of the religious orthodoxy or their political power. And, you know, that part of the world basically kind of became an intellectual backwater, even though at the time they were pretty dominant in mathematics and science, by stopping a system that amplifies people's intelligence, which is what we're talking about here. You're taking a step back in terms of progress of humanity.

I mean, AI is going to be an amplification of human intelligence. We might we might see a new Renaissance because of it. OK, a new enlightenment, if you want. And why would you why would we want to stop that?

[Andrew]

はい。テクノロジーの規制というアイデアについて、私はあなたにほぼ完全に同意します. ただ唯一例外があります。請願書の作成者の多くは、FAQで組み換えDNAに関する1975年のアシロマ会議に言及しています。私の意見では、その類推はあまり適切ではないように感じます。1960年代から1970年代にかけて研究者が DNAや組換えDNAの研究を行っていたとき、たとえばサルのウイルスに関する研究がありました。そしてウイルスが流出して人に感染し、害を及ぼし新しい病気を作り出すという現実に起こりうるリスクがありました. そして、COVIDがそうであるように、パンデミックは現実の脅威です。社会にとって本当に恐ろしいものです。

1975年にさかのぼると、アシロマ会議の結果、特定の種類のDNA研究を行うための一種の封じ込めメカニズムを導入しました。それは良い考えだったと思います。私がそのアシロマ会議と目の中で起こっていることとの間に類似性が見られるとは言い難い理由は、AIの流出が現実の脅威として検討の主題となり得ないように思えるからです。私にはAIの流出が現実の脅威とは思えません。感染症の回避とは異なり、それはリスクではあるものの、AIの流出は、おそらく数十年かかるAGIへの到達に加えて、AGIが人間に危害を加えたり殺したりしないことを望む何十億もの人々の裏をかくことを意味します。それは、何十年、何百年、あるいはそれ以上の間、信じがたいシナリオにすぎません。

[Yann]

ええ、この問題に関して興味深い知的議論があると思います。ご存知のように、オンラインで見られるものの中には不合理なものもありますが、合理的なものもあります。4年前にScientific Americanに掲載された、Tony Zetterと共同執筆した記事「Don't Fear the Terminator」に続いて、実際に議論がありました。基本的に、AIシステムが人類を支配しようとするシナリオは非現実的です。なぜなら実際に支配するためには支配する動機が必要だからです。私たちは社会的な種であるため、人間にはその動機があります。他の多くの社会的種にも同様に存在します。AIは非社会的な種であるので、AIには人間を支配する動機が存在しません。そして、私たちが設計する AIシステムにそれが存在する理由はありません。私たちはAIの目的を、彼らが非支配的、従順であるように設計することができます。あるいは、彼らが人類全体の最善の利益に沿った特定の規則に従うようにすることもできます。あなたが言ったように、このシナリオは完全に信じがたいです。

原文

[Andrew]

Yeah. And just just to add to the idea of regular technology, I agree with you almost entirely. And there is just one exception. So a lot of the some of the authors of petition, I think the FAQ referred to the Asselomar 1975 meeting on the Recombinant DNA. And I feel like that analogy is not a great analogy, in my opinion, because when researchers are doing research on DNA, recombinant DNA back in the 60s and 70s, there are research on monkey viruses, for example. And there was the real risk of creating a new disease that would escape and infect people and harm. And as we've just seen with COVID, pandemics are a real thing. And they're really, really terrible for society.

And so I think back in 1975, the Asselomar conference put in place kind of containment mechanisms for doing certain types of DNA research. And I think that was a good idea. And the reason I have I find it troubling to make an analogy between that Asselomar conference and what happens in the eye, which seems to be one of the popular themes out there is AI escape is just not, I don't see any realistic risk of AI escape. Unlike, you know, escape of infectious diseases, that is a risk. But AI escape would imply not only do we get to AGI, which will take, you know, decades probably, but that AGI is so widely and so smart, it outsmarts all of these billions of people that don't want AI to harm us or kill us. And that's just an implausible scenario for decades or maybe centuries or maybe even longer.

[Yann]

Yeah, I mean, I think there are interesting intellectual debates to have around this question. You know, some of the ones that you see online are unreasonable, but some of them are reasonable. So there is actually there's been a discussion following an article that I co-wrote with Tony Zetter that was published in Scientific American four years ago, whose title was Don't Fear the Terminator. And basically where we said, you know, those scenarios where AI systems will want to dominate humanity are unrealistic because you need to have a motivation to dominate, to actually dominate. And that motivation exists in humans because we are a social species. It exists in a number of other social species. It does not exist in non-social species because they don't have the need for it. And there is no reason it will exist in AI systems that we design. We can design their objectives so that they are non-dominant, submissive, or, you know, they obey certain rules that are in line with the best interests of humanity as a whole. So as you said, this scenario is completely implausible.

[Andrew]

テクノロジーに対する社会的感情が私を苛立たせるのだと思います。10、20年前では、テクノロジー自体に批判はありませんでした。テクノロジーは誰にとっても素晴らしいものでしたが、この5年、6年、7年の間に、社会はテクノロジーに現実の問題があることに気づきました。そして、これは物議をかもしているように感じます。メディアの感情が揺れ動いているように感じますが、テクノロジーが大きく揺れ動くのは良くないことであり、害があります。私はよりバランスを取った見方をしています。テクノロジーの現実的なリスクを認めながらも、素晴らしい側面を認識する必要があります。安全性と透明性、権力の集中、プライバシーの問題があります。これらは、私たち全員が取り組んでいるAIの現実のリスクです。そしてメディアは、テクノロジーに対する否定的な感情に少し行き過ぎていると思います。この種のうわさや感情に影響を与えていると思います。実際には、よりバランスの取れた見方が前進に役立つと思います。

[Yann]

明らかにその一部を含んでいます。この種の認識は確かに、私が Metaで働いていて、それがいわゆる公共に向けたサービスであるというところから来ていると思います。ご存知のように、私は Metaのコンテンツポリシーやプライバシーポリシーなどには関与していません。しかし、人々が気づいていないと思うのは、一般の人々や報道機関が特定したテクノロジーの問題があるだけでなく、テクノロジー業界自体もそれらの問題を特定し、それらを修正して軽減しようとしているということです。つまり、ソーシャルネットワークにおけるランキングアルゴリズムの副作用は、たとえば予測可能で発生する前に修正されたものもあれば、そうでないものもあり、そうでないものについてはそれが発生したときに修正されました。その間、おそらく悪い副作用があり、それらのいくつかはテクノロジーによって制限されました。人々が気づいていないことの1つは、AIの進歩が、ソーシャルネットワークが直面しているいくつかの問題の解決策の一部であるということです。そして、私はFacebookやInstagramについて話しているだけではなく、YouTube、TikTok、Twitterなどすべてのソーシャルネットワークサービスが含まれています。

つまり、AIの進歩によりヘイトスピーチをより効率的に取り締まることが可能になりました。そして、これは完全に大規模な言語モデルによるものです。ご存知のように、大規模な言語モデルがあり、同じタイプではなく、ChatGPTなどで見られる自己回帰タイプではなく、BERTスタイルのようなものです。私たちは世界のほとんどの言語によるヘイトスピーチを検出することで、これまで以上に優れた仕事をすることができます。それは以前は不可能でした。それが起こったのはここ4、5年です。それはAIの進歩によるものです。 AIはそのソリューションの一部です。 AIそれ自体が問題ではありません。 AIは解決策の一部なのです。

原文

[Andrew]

Yeah. And there's actually one thing that grossed me, which is I think societal sentiment toward tech. I feel like 10, 20 years ago, tech was all good. It's wonderful, trading value for everyone. And then I think, you know, over the last five, six, seven years, society realized that there were real problems with tech. And then I feel like this is controversial. I feel like the media sentiment swung appropriately, but swung too far in the tech is bad and all these harms. And I feel like a more balanced view. Let's acknowledge the wonderful things tech is doing and trading for everyone, even while acknowledging the very real risks of harm. We do have problems with safety and transparency, concentration of power, privacy. Those are real things that we're all motivated working on. And then I think this media swing a little bit too far toward negative sentiment on tech, I think feeds into this kind of hype and sentiment that I don't think is else. I think actually a more balanced view would be more helpful for moving forward.

[Yann]

I mean, there's clearly some of that. I think this kind of perception is certainly, you know, working at Meta and being being a bit of a public figure, I've been a bit of the center of that controversy somehow, even though, you know, I don't, you know, I'm not involved in Meta's content policy or anything like that or privacy policy or anything. But what I think people don't realize is that it's not just there is a problem with tech that the public and the press has identified, but the tech industry itself has identified those problems too and has attempted to correct them and mitigate them. So, you know, the side effects of ranking algorithms in social networks, for example, some of it was predictable and sort of fixed before it happened and some of it wasn't. And it was fixed when it occurred. In the meantime, you know, there was perhaps bad side effects and some of them are limited by technology. So one thing that people don't realize is that progress in AI is part of the solution to some of the problems that social networks have encountered. And I'm not just talking about about Facebook or Instagram that includes, you know, YouTube and, you know, TikTok and Twitter and everything.

So the progress in AI has allowed things like, you know, taking down hate speech more efficiently and things like that. And this is due entirely to large language models, you know, because we have large language models, not of the same type, not the autoregressive type that we see in ChatGPT and others, but the sort of BERT style. We can do things like do a pretty good job, a better job than we ever could in, you know, detecting hate speech in most languages in the world. That was impossible before. That only occurred in the last four or five years. That's due to progress in AI. AI is part of the solution there. It's not it's not the problem. It's part of the solution.

[Andrew]

いい指摘ですね。自動運転コーヒーをそれらの人々に展開するなど、製品を展開する無責任な方法があるのは無責任だと思います。

ともあれ世の中には無責任にテクノロジーが提供されていることがあります。しかし、多くのテクノロジーは最初から完璧ではありません。そして、それを展開する現実的な方法は、それを自己完結型の方法で展開し、害を制限し、危険を制限し、より大規模に展開し、監視を強化し、有害なケースの緩和策を開発することです。これが解決策になりえます。従って、開発の一時停止という方法は有望な方法ではないと思います。私たちはよく管理された方法で物事をリリースし、それが有害でないことを確認する必要があります. そして、危害のリスクのいくつかは誇張されていると思います。

原文

[Andrew]

That's a good point. And I feel like the way that there are irresponsible ways to roll out products, like rolling out self-driving coffee to those people, that would be irresponsible.

Well, you know, there are irresponsible ways to do that anyway. But then I think a lot of technology, it just isn't perfect the first time out. And the practical way to roll it out is to roll it out in a self-contained way, limit harm, limit dangers, and it increments the roll out so you can better monitor, you know, and mitigations for the harmful cases could then develop the solutions to it. So the pausing progress seems like doesn't seem hopeful. We should release things in a very controlled way and make sure it's not harmful. And I think some of the risks of harm are overblown, I guess.

[Andrew]

さて時間もあるので、Slidoの質問に答えていきましょう。
みなさん、Slidoに質問を投稿して投票していただき、ありがとうございます。 5問以上あります。すみませんヤン、7分間で5つの質問に答えます。

まずはトップの投票があった質問「もしそれが起きたとして、AIの一時停止が良いアイデアになる条件/シナリオ/転換点は何ですか?」。匿名の方からの質問です。

[Yann]

おそらく小規模で試験用に展開された何かがあり、実際の害が特定された場合になると思います。2 種類の害があります。潜在的な害と実際の害です。想像上の害もあります。そして、実際に害がある場合は、その製品の展開を停止する必要があります。では、AI研究をすべて禁止すべきということでしょうか。そうではありません。

つまり、発生する前に特定することは非常に困難です。しかし、それが小規模に発生した場合は、是正措置を講じます。そして、それがテクノロジーの歴史の中で起こったことです。最初の車はあまり安全ではありませんでした。良いブレーキを持っていませんでした。安全ベルトを持っていませんでした。交通信号はありませんでした。などなど・・・。そして、それらは車をより安全にするために徐々に導入されました。飛行機も同じです。そして最終的には、これらの製品が安全であることを確認する規制機関ができます。

それがうまくいく方法です。 AI と以前の技術の進歩との間に本質的な違いはありません。

原文

[Andrew]

Hey, just keep it on the clock. Should we go and take a look at the let's take some questions on Slido.
So thanks, everyone, for posting questions on Slido and voting out. There are over five questions. Sorry, Yanna, we're going to take five questions in seven minutes.

But the top voted one, "what are the conditions/scenarios/tipping point that, if it happens, AI pause will be a good idea?" Posted by an anonymous pollster.

[Yann]

I think, yeah, sure.
So if there is, you know, something that is deployed perhaps on a small scale for trials and there is identification of real harm, because there are two kinds of harm. There is potential harm and real harm. There is imagined harm. And, you know, if there is real harm, you should, you know, stop that product from from being deployed. Now, you know, should it mean that you should ban all all of AI research? No.

So it's very difficult to identify before it occurs. But when it occurs on a small scale, you take corrective measures. And that's what's happened in the history of technology. Right. I mean, the first cars were were very unsafe. They didn't have good brakes. They didn't have safety belts. There were no traffic signals, blah, blah, blah. And those things were put in place progressively to make it safer. Same for aviation. And eventually you have a regulatory agency that makes sure those those products are safe.

So, you know, that's the way it's going to it's going to work. There is no intrinsic qualitative difference between AI and previous technological advances.

[Andrew]

うん。そして、それが病原体の遺伝子研究を示しています。会議として、組換え DNA を回避する病原体に害を及ぼす可能性のある経路がありました。それを引き戻すのは非常に困難でした。世界で最も強力な政府でさえ、いったん病原体が放出されると、その病原体を止めることができません。そして今日、政府が企業にサービスを停止させる法律を可決できるという事実があると思います。害を及ぼす場合は、比較的迅速にシャットダウンするオプションがあります。そのようなものは別の強力な防御です。

原文

[Andrew]

Yeah. And that's what indicates of genetic pathogen research. There was a possible path to harm pathogens escaping recombinant DNA as low conference. That was very difficult to pull back. Even the most powerful governments in the world can shut off a pathogen once it's released. And I think the fact that today governments can pass legislations to cause companies to shut down their service. We do have the option to shut things down relatively quickly if it causes harm. So that that kind of is another strong defense.

[Andrew]

2番目の質問。ヤン、これはあなたに言及しています。「一時停止に同意しない主要な専門家をどのように解釈すべきですか（たとえば、ヨシュア・ベンジオは署名者であり、(Yann) LeCun博士はそれに反対しているなど）?」

[Yann]

OK、ヨシュアは昔からの友達で、とても良い友達です。彼は修士課程の学生で、私はポスドクだった頃からの知り合いです。つまり、1980 年代にさかのぼった古い友人です。

そして、ご存知のように、人々はさまざまな意見やさまざまな動機を持っています。そして、彼は確かに私とは少し異なる政治的意見を持っています。そして、彼はこれに署名した人々に動機付けられていると思います. 彼は、企業が営利目的でテクノロジーをコントロールすることの危険性を、本質的に悪いものだと考えています。

私はそうは思いません。コントロールすべきだとは思いますが、必ずしも本質的に悪いとは思いません。

彼は、R&D と AI は秘密にすべきであり、秘密裏に行われるべきであるという考えに非常に反対しています。そして私は彼に同意します。私はオープンリサーチの非常に強力な支持者です。

繰り返しますが、ここでは研究について話しているわけではありません。私たちは製品について話しています。私はオープンリサーチの大きな支持者でした。そしてそれが続くべきだと思います。部分的には、人々はOpenAIが秘密主義であることを不満に思っていると思います。彼らの製品で使用されているアイデアのほとんどは、実際には彼らのものではなかったからです。Googleや FAIR(訳注: Facebook AI Reserch)、その他のさまざまな学術グループなどによって公開されたアイデアがありました。そして今、彼らは一種のロックとキーの下にいるようなものです.

しかし、これはそれほど長くは続きません。比較的短期間のうちに、より優れているとまではいかなくても、非常に類似した機能を備えた他の多くの製品が登場するという意味です。 OpenAIは、システムの微調整を可能にする多くのユーザーを持つデータのフライホイールにより、少し進歩しています。しかし、それは長続きしません。

原文

[Andrew]

Actually, second question. Yann, this one mentions you. "How should we interpret leading experts disagreeing on the pause (e.g., Yoshua Bengio being a signatory while Dr. Lecun opposing it)?"

[Yann]

OK, Yoshua is a is an old friend, a very good friend. And we've known each other since he was a master's student and I was a postdoc. So that was it was like a very long time to the 1980s.

And, you know, people have different opinions and different motivations. And he certainly has different, slightly different political opinions than mine. And I think he's motivated by those for signing this. He sees the danger of, you know, companies controlling a technology for profit motive as intrinsically bad.

I don't believe so. I think it should be controlled, but I don't think it's intrinsically bad necessarily.

He is very much against the idea that R&D and AI should should be secret, done in secret. And I agree with him. I'm a very, very strong proponent of open research.

But again, we're not talking about research here. We're talking about products. I've been a huge proponent of open research. And I think it should it should it should continue that way. You know, partly, I think people are unhappy about open AI being secretive now because most of the ideas that have been used by them in their products were actually not from them. There were ideas that were published by people at Google and FAIR and various other academic groups, et cetera. And now they are kind of being kind of under lock and key.

But this is not going to last very long in the sense that there's going to be a lot of other products that have very similar capabilities, if not better, within relatively short order. Open AI has a bit of an advance because of the flywheel of data of having many users for the system that allows them to fine tune it. But it's not going to last.

[Andrew]

うん。うん。実際、これはニックの質問にもつながっていますね。「近い将来、少数の企業だけが所有する最も高度な AIモデルがコンピューティングコストを負担できるようになるのではないかと心配していますか？」

私はこれには挑戦できると思います。少し心配はしていますが、LLM のインフラストラクチャレイヤーは現在非常に競争が激しいように見えるため、あまり心配していません。

OpenAI は、LLMやTransformerをスケールアップし、モデルへの指示を実際に推し進めて、素晴らしい仕事をしたと思います。実際、少なくとも2つの主要なブレークスルーは OpenAIによるものだと思います。しかし、Metaの LLaMA のリリースは素晴らしいことでした。 Googleの PaLM モデルは、さまざまな LLMをリリースする大小さまざまな組織との激しい競争になっていると思います。そのため、現在、非常に競争があるように見えます。そして市場空間では、大規模な LLMの上にアプリケーション層を構築するよりも多くの興奮が見られます。

[Yann]

そのとおりです。実際にはかなり急速に民主化されると思います。

つまり、これまでで最大のLLMをトレーニングしたい場合は、大量のコンピューティングリソースが必要になります。しかし、ほとんどのユースケースでは、あらゆる種類のモデルのある種のピラミッドが存在し、最も単純なモデルがまだ有用であり、より広く利用されるでしょう。比較的控えめなハードウェア、おそらくモバイルデバイスで短時間で実行できるようになります。

そしてそのようなタイプの LLMまたはシステムを、研究グループまたは製品のいずれかに対してさまざまな程度のオープン性で短期間で利用できるようになります。

それは競争力があります。つまり、人々が物事を世に出す動機がたくさんあるということです。そして、それらのいくつかは他のものよりもオープンになります。

原文

[Andrew]

Yeah. Yeah. In fact, this is leading to Nick's question as well. "Are you concerned that, in the near future, most advanced AI models we own solely by a few companies could afford the compute costs?"

I think I'll take a stab at this one. I am I am concerned a little bit, but not very concerned because the infrastructure layer of LLMs looks hyper competitive right now.

I think OpenAI did a great job with scaling up LLMs, transformers, and really pushing for the instruction to models. Really, at least two major breakthroughs I would attribute to OpenAI. But Meta's release of LLaMA was a great thing. I think that Google's PaLM model is becoming hyper competitive with many large and small organizations releasing different LLMs. So right now it looks very competitive. And in the market space, I see a lot of excitement than building the application layer on top of the large LLMs.

[Yann]

Absolutely. I think this is going to get democratized actually fairly quickly.

So, yes, if you want to train the biggest LLM ever, you're going to need a lot of computing resources. But most usage, I mean, there's going to be some sort of pyramid of all kinds of models where the simplest models, which are still useful, are going to be more widely available. You're going to be able to run them on relatively modest hardware, possibly on mobile devices on short order.

And you're going to have a lot of such LLMs or systems of that type available with different degrees of openness for either research groups or products on short order.

It's competitive, which means there is a lot of motivation for people to put things out there. And some of them are going to be more open than others.

[Andrew]

最後にもう 1 つ質問に回答しましょう。時間内に終了できるように、非常に迅速に回答します。最後の質問は、「エンジニアリングにおける AI の役割についてどう思いますか？学生は将来に備え、優れたエンジニアリングアプリケーションを作成するために何をすべきですか?」

[Yann]

君からどうぞ。

[Andrew]

もちろん。 AI は非常にエキサイティングだと思います。 AIは、ディープラーニング、教師あり学習、ジェネレーティブ AIの両方の汎用テクノロジです。これらは汎用テクノロジであり、1つのことだけに適しているわけではありません。さまざまなことに適しています。

これらの技術的進歩は、テクノロジー、非テクノロジー、経済の隅々まで行き来し、教育、ヘルスケア、コーチング、その他多くの価値あるアプリケーションを見つける機会を私たちに与えてくれますよね？重要なアプリケーションを見つけ、責任を持って倫理的で公正な方法でそれらを構築し、すべての人に価値を生み出すために、産業オートメーションを改善します。したがって、これらのテクノロジーについて学び、ユースケースを見つけて構築し、このエキサイティングな構築を進めることは素晴らしいことです。

原文

[Andrew]

Let's take one last question and we'll do it real quick and try to end on time. Last question, "What do you think about the role of AI in engineering? What should the students do to prepare for the future and make good engineering applications in the future?"

[Yann]

OK, go ahead.

[Andrew]

Sure. So I think AI is wildly exciting. AI is a general purpose technology, both deep learning, supervised learning and generative AI. These are general purpose technologies, meaning they aren't good just for one thing. They're good for a lot of different things.

And so these technological advancements give us opportunities to go around, tech, non-tech, all corners of the economy to find valuable applications, be it education or health care or coaching or lots of things, right? Improving industrial automation, whatever, to find important applications and go and build them in a responsible, ethical, fair way to create value for everyone. So it's a fantastic time to learn about these technologies and go find use cases and build and not to pause this exciting building.

[Yann]

そのとおりです。つまり、それはエンジニアリングと製品開発の側面があり、研究の側面でもあります。

AIという領域がすでに解決されている領域である、と考えるべきではありません。私が言ったように、テーブルを片付けたり、食器洗い機をいっぱいにしたりできる家庭用ロボットはまだありません. 人間や動物の走る能力という点で、機械ではまだ再現できない大きなものが欠けています。

私達はまだ推論して計画できるシステムを持つことはできません。現在の LLM は、まったく計画を立てることができません。

記憶に保存されている既存の計画を作成することはできますが、実際に計画することはできません。

したがって、人間の知性を達成できるマシンの AI 研究には、今後数年間の非常に大きな課題があります。また、自己回帰 LLM をスキャンして、トークン化されたマルチモーダルデータでトレーニングするだけでは得られません。それ以上のものが必要になります。

[Andrew]

いいですね。エキサイティングな研究がたくさんあります。エキサイティングな製品開発がたくさんあります。良い時期だと思います。 AI で作業することは、実際には爽快であり、率直に言って、時には疲れることもあります。

[Yann]

そのとおりです。

原文

[Yann]

Right. So that's on the side of engineering and product development and on the side of research.

Nobody should get the idea that AI is solved. As I said, we still don't have, you know, domestic robots that can clear the table and fill up the dishwasher. We're missing something big in terms of the running capabilities of humans and animals that we still cannot reproduce in machines.

We can't have systems that can reason and plan. The current LLMs cannot really plan at all.

They can produce plans that already exist that they stored in their memory, but they can't really plan.

So there's a big, big challenge for the next few years in AI research for machines that can achieve human intelligence. And it's not going to be obtained by simply scanning up autoregressive LLMs and training them with tokenized multimodal data. It's going to take a lot more than that.

[Andrew]

Yeah, well said. Lots of exciting research to be done. So lots of exciting product work to be done. I think it's a good time. It's actually exhilarating and frankly, sometimes exhausting to be working in AI.

[Yann]

I agree with that.

[Andrew]

さてそろそろ時間です。どうもありがとう、ヤン。このライブとチャットに参加できて本当にうれしいです。これを見てくれて、今日もみんな参加していただいて本当に嬉しいです。

これがお役に立てば幸いです。会話を続けましょう。 AIをさらに推し進めて、すべての人に価値を提供する必要があると思います。それでは、会話を続けましょう。ありがとう。ありがとう、ヤン。ありがとう。

[Yann]

みなさんありがとう。

原文

[Andrew]

Hey, I think we're at time. Thanks a lot, Yann.
I'm really glad we could jump on this call and chat.
I'm really glad that you're watching this, that all of you could join us today, too.

So I hope this was helpful. Let's keep the conversation going. I think we should keep on pushing forward AI to create value for everyone. So let's keep the conversation going. Thanks. Thank you, Yann. Thank you.

[Yann]

Thanks, everyone.