この記事は下記の書籍を主に使用しています。
暗号技術入門第3版　秘密の国のアリス | 結城浩 | コンピュータ・IT | Kindleストア | Amazon

公開鍵

暗号化の鍵と復号化の鍵を分けて取り扱う手法です。
つまり送信者はメッセージを暗号化の鍵を使って暗号化し、受信者は復号化の鍵を使って復号するということです。

RSA

公開鍵暗号アルゴリズムの一つで、暗号化の鍵と復号化の鍵を分ける方法です。

暗号化

暗号文 = 平文^E mod N
平文を E乗して、その結果をNで割ったあまりを求めることになります。
EとNの組み合わせが公開鍵になります。

復号化

平文 = 暗号文^D mod N
暗号文を D乗して、その結果をNで割ったあまりを求めることになります。
DとNの組み合わせが暗号鍵になります。

RSA以外の暗号方式

ElGamal方式
Rabin方式
楕円曲線暗号方式

デジタル署名

デジタル署名は公開鍵暗号を応用した技術でもあり、デジタル署名の仕組みのなかで公開鍵と秘密鍵も登場します。
デジタル署名とはより引用

デジタル署名とは｜「分かりそう」で「分からない」でも「分かった」気になれるIT用語辞典

署名って？

プライベートキーによる暗号文のことを署名として使用します。
公開鍵による復号化は、誰にでもできるので、署名の検証も誰でも行うことができます。

デジタル署名ができること

改竄やなりすましを検出できるようになります。
ただ前提条件として、送信された公開鍵が本物であることが条件となります。
そこで正しく公開鍵を入手する方法が証明書になります。

コピーが作れるのでは？

結論、作れるだろうし、作れても良いです。
理由は、署名者と特定のメッセージが紐づいていることが重要だからです。

証明書(公開鍵証明書)

証明書とは？

公開鍵が正しいものかどうか証明するものを証明書と呼びます。
公開鍵の認証をしてくれます。

証明書はなぜ必要なのか

公開鍵だけ取得する方法と認証局の証明書を通して公開鍵を取得する2つのパターンが考えられます。
この質問の場合、前者ではなぜダメなのかという話になります。

結論、公開鍵をすり替えることが容易になるからです。
認証局を通していないと、この公開鍵が誰からのものでということがわからなくなってしまいます。
認証局を通していると、デジタル証明書署名がついているので、すり替えが困難になります。

このすり替えは、main-in-the-middle攻撃と呼ばれています。
中間者攻撃（Man In The Middle Attack）とは？仕組みや危険性、対策について徹底解説

認証局って何？

俗にいう、CA と呼ばれるものです。
信頼できるデジタル署名を使い続けることができるのか、それは誰が証明書を発行するのか。

役割

証明書の登録
証明書の破棄

認証局（CA：Certification Authority）とは？｜GMOグローバルサイン【公式】

PKI(公開鍵基盤)

証明書を実際に運用する基盤のことです。
PKIの構成は以下の通りです。

利用者
PKIを利用する人
認証局
証明書をは発行する人
リポジトリ
証明書を保管しているデータベース

ルートCA

上位の認証局による認証を受けず、自分の正当性を自ら証明する認証局。
ルートCA 【 root certificate authority 】ルート認証局より引用

いまさら聞けない、SSLサーバ証明書とルート証明書の関係
 ルート認証局の信頼性｜GMOグローバルサイン【公式】

SSL/TLS

上記の公開鍵やデジタル署名など様々な技術が組み合わされています。

HTTPS = HTTP + SSL/TLS

盗聴されにくしたい　→　機密性　→　公開鍵暗号
改竄されたくない　→　正真性　→　デジタル署名
相手が本物稼働か確かめたい　→　認証　→　デジタル署名、証明書

TLS

TLSレコードプロトコルとTLSハンドシェイクプロトコルに分けることができます

TLSレコードプロトコル

メッセージを暗号化する部分です。
この記事には書いていませんが、対象暗号やメッセージ認証コードがここで使用されます。
The TLS Protocol Version 1.0

TLSハンドシェイクプロトコル

使用するアルゴリズム、共有鍵を決定し、証明書による認証も行います。
公開鍵やデジタル署名、証明書がここで使用されます。
SSL/TLS（SSL3.0～TLS1.2）のハンドシェイクを復習する - Qiita
SSL/TLSのハンドシェイクってどんなの？ - Qiita
TLS ハンドシェイクプロトコル

【図解】https(SSL/TLS)の仕組みとシーケンス,パケット構造〜暗号化の範囲, Encrypted Alert, ヘッダやレイヤについて～│SEの道標より引用

暗号技術の全体図

暗号技術入門15 暗号技術と現実社会 | SpiriteK Blog より引用

その他参考にした記事

SSHの公開鍵認証における良くある誤解の話 - Qiita