普段はBulk API　をCURLコマンドで使っています。

添付ファイルをアップする設定です。

ここのポイントはcontentTypeです。　ZIP_CSVとします。
job_xml

<?xml version="1.0" encoding="UTF-8"?>
<jobInfo xmlns="http://www.force.com/2009/06/asyncapi/dataload">
    <operation>insert</operation>
    <object>ContentVersion</object>
    <contentType>ZIP_CSV</contentType>
</jobInfo>

アップロードするファイルと設定ファイルをZIP化します。

設定ファイルはrequest.txtです。

ここのポイントはVersionData,PathOnClientの２つの項目。

Title,Description,VersionData,PathOnClient,OwnerId,FirstPublishLocationId,TagCsv
Book5,ContentVersion,#Book5.pdf,#Book5.pdf,,,Book5

この質問への回答のために設定してみまた。
ContentNote Bulk API Error

追記
質問は拡張メモへのデータのロードでした。私はやったことがなかったのですが添付ファイルと同じではと思っていました。
（私はやってないけど...）
質問者さんがやってくれて、やり方が分かりました。

request.txtは次のようになります...

Title、Content
Test Note One、＃testfile1.txt
Test Note Two、＃testfile2.txt

レコードの添付ファイル（ContentVersion）または本文（ContentNote）であるのは、バイナリ要求本文（zipファイル）内のファイルの名前です。

フォルダ内のファイルをまとめてアップロード可能か

データローダを使用してドキュメントを一括インポートできるのですが、同じような階層構造にはならないと思います。

Salesforce へドキュメントを一括インポートする
https://help.salesforce.com/s/articleView?id=000384978&type=1