MMMU: A Massive Multi-discipline Multimodal AI(4)

MMMU: A Massive Multi-discipline Multimodal　Understanding and Reasoning Benchmark for Expert AGI
1　Xiang Yue*†, 2 Yuansheng Ni*, 3　Kai Zhang*, 4Tianyu Zheng*,3　Ruoqi Liu, 2Ge Zhang, 3 Samuel Stevens, 2 Dongfu Jiang, 2 Weiming Ren, 4Yuxuan Sun, 2 Cong Wei, 3 Botao Yu, 5Ruibin Yuan, 2 Renliang Sun, 7Ming Yin, 3 Boyuan Zheng, 4Zhenzhu Yang, 6Yibo Liu, 4 Wenhao Huang, 3 Huan Sun*, 3Yu Su*†, 2Wenhu Chen*†
1 IN.AI Research, 2 University of Waterloo, 3 The Ohio State University, 4 Independent, 5 Carnegie Mellon University, 6University of Victoria, 7Princeton University
https://mmmu-benchmark.github.io/

松尾研 LLM コミュニティ "Paper & Hacks Vol.18"
https://matsuolab-community.connpass.com/event/329264/
発表者: 松尾研LLMコミュニティメンバー 中原龍一（岡山大学整形外科）
テーマ: 画像とLLM 、CVPR2024におけるLLMの動向
2024/09/03(火)20:00 〜 21:00

<この項は書きかけです。順次追記します。>
This article is not completed. I will add some words in order.

コメント、質問

医工数　すご。自分のスキルは工＞数＞医です。医工連携の見直しできそう。これまでは統計・確率に絞って議論しようとしてた。医がわかっておらずすれ違いがおおきかった。

ていねいにお答えいただきありがとうございます。
統計・確率以外に数学模型を考案することを検討します。

医工連携関連記事一覧
https://qiita.com/kaizen_nagoya/items/6ab51c12ba51bc260a82

単語帳

いつも論文読む時は単語帳を作っています。頻度の高い用語で知らない用語を先に確認するためです。

Text作成時に、一部文字化けし、実際の単語数より数％少ないことを確認しています。ごめんなさい。

english	japanese	count
THE	その	521
OF	の	455
A	一つの	440
AND	と	439
TO	に	379
B	B	318
IMAGE	画像	277
IN	なかに	258
V	V	193
BACK	戻る	172
ERROR	誤り	168
C	C	159
D	D	144
GPT	GPT	132
TABLE	表	125
FIGURE	図	124
MODELS	模型	122
IS	です	119
ARXIV	ARXIV	101
CASE	箱	101
FIGURES	図	96
FOR	ために	96
ON	に	95
SAMPLE	例	94
SUBFIELD	サブフィールド	93
INDEX	索引	88
LIST	一覧	87
GROUNDTRUTH	グラウンドトゥルース	86
OPTION	選択肢	86
VL	VL	82
T	T ​​	81
AS	として	80
WE	私たち	79
WITH	一緒に	76
REASONING	推論	74
PERCEPTUAL	知覚	66
CATEGORY	分類	62
MMMU	MMMU	60
FROM	から	58
TEXT	文	57
LANGUAGE	言語	56
QUESTIONS	質問	56
EXPERT	専門家	54
ART	芸術	52
MULTIMODAL	マルチモーダル	52
CORRECT	正しい	51
VISUAL	視覚	51
KNOWLEDGE	知識	50
PREPRINT	前刷	50
S	S	48
THAT	その	48
E	E	46
RESULTS	結果	46
ARE	です	45
DATA	与件	45
ERRORCATEGORY	エラーカテゴリ	45
HOWEVER	ただし	45
LI	LI	44
THIS	この	44
DESIGN	設計	43
BY	に	42
ENGINEERING	技術	41
IT	情報技術	41
OR	または	41
VISION	視覚	41
LLAVA	LLAVA	40
MEDICINE	医学	39
SCIENCE	科学	39
SO	なので	38
CORRECTCASE	正しいケース	37
MODEL	模型	37
OPEN	開く	37
ERRORERRORREASON	エラー理由	36
LARGE	大きな	36
BENCHMARK	ベンチマーク	35
BE	です	34
CHAT	チャット	34
HISTORY	履歴	34
QWEN	QWEN	34
WANG	WANG	34
AN	一つの	33
CHOICE	選択	33
DIFFERENT	異なる	33
LACK	不足	33
ZHANG	ZHANG	33
H	H	32
QUESTION	質問	32
FLAN	FLAN	31
M	M	31
XXL	XXL	31
LMMS	LMMS	30
PERFORMANCE	パフォーマンス	30
TYPES	型	30
CHEMISTRY	化学	29
THESE	これら	29
BEST	最善	28
GEMINI	ジェミニ	28
IMAGES	画像	27
LIU	LIU	27
TEST	試験	27
VALIDATION	検証	27
PERCEPTUALERROR	知覚エラー	26
R	R	26
THEREFORE	したがって	26
UNDERSTANDING	理解	26
AL	AL	25
ET	ET	25
FUYU	FUYU	25
OCR	OCR	25
SHOT	ショット	25
EACH	各	24
K	K	24
LEVEL	水準	24
LLAMA	ラマ	24
MUSIC	音楽	24
ONLY	のみ	24
SUBJECTS	科目	24
BLIP	BLIP	23
HEALTH	健康	23
SUCH	そのような	23
CLINICAL	臨床	22
INPUT	入力	22
OVERALL	全体	22
REKA	REKA	22
SET	集合	22
SOURCE	源	22
CHEN	CHEN	21
OUR	私たちの	21
VICUNA	VICUNA	21
YI	YI	21
AGI	AGI	20
BIOLOGY	生物学	20
BOTH	両方	20
BUT	しかし	20
COMPUTER	計算機	20
HAS	は	20
INSTRUCTBLIP	INSTRUCTBLIP	20
INSTRUCTION	指示	20
PROVIDED	提供	20
SUBJECT	主題	20
AUTHORS	著者	19
BENCHMARKS	ベンチマーク	19
CAN	可能	19
CONFERENCE	会議	19
GEOGRAPHY	地理	19
I	I	19
LEARNING	学習	19
MINICPM	MINICPM	19
MM	MM	19
PSYCHOLOGY	心理学	19
TASKS	仕事	19
ANSWER	回答	18
LIKE	好き	18
LLMS	LLMS	18
MATERIALS	資料	18
MULTI	複数	18
MULTIPLE	複数	18
PLUS	たす	18
SHOULD	すべき	18
THEORY	理論	18
WHICH	どの	18
APPENDIX	付録	17
CAPTION	キャプション	17
ERRORS	誤り	17
INTERNVL	内部	17
MATH	数学	17
THUS	したがって	17
WHERE	どこ	17
X	X	17
YU	YU	17
ADEPT	熟練	16
CONTEXT	文脈	16
ECONOMICS	経済学	16
GIVEN	与えられた	16
HAVE	持つ	16
LITERATURE	文学	16
MORE	より多くの	16
PAPER	論文	16
RAD	RAD	16
REASONINGERROR	推論エラー	16
SOCIAL	社会	16
AGRICULTURE	農業	15
ALL	すべて	15
ANALYSIS	分析	15
COLLEGE	大学	15
HUMAN	人間	15
ITS	その	15
LIN	リン	15
MARCO	マルコ	15
OPENFLAMINGO	オープンフラミンゴ	15
OTHER	その他	15
PHYSIOLOGY	生理学	15
TH	TH	15
U	U	15
WHILE	WH ILE	15
ALSO	また	14
BUSINESS	ビジネス	14
DATASET	データセット	14
DIFFICULTY	難しさ	14
DISCIPLINES	分野	14
EVALUATION	評価	14
FOUNDATION	基盤	14
INFORMATION	情報	14
ISION	ISION	14
NOT	OTTER	14
OTTER	P	14
P	PRO	14
PRO	特定	14
SPECIFIC	それらの	14
THEIR	チューニング	14
TUNING	XL	14
XL	会計	14
ACCOUNTING	横断	13
ACROSS	追加された	13
ADDED	注釈	13
ANNOTATORS	矢印	13
ARROW	基本	13
BASIC	間の	13
BETWEEN	課題	13
CHALLENGES	ドメイン	13
DOMAIN	エレクトロニクス	13
ELECTRONICS	HPT	13
HPT	HTTPS	13
HTTPS	LET	13
LET	管理	13
MANAGEMENT	マーケティング	13
MARKETING	国家	13
NATION	現在	13
NOW	Q	13
Q	レポート	13
REPORT	調査	13
RESEARCH	2番目	13
SECOND	正しい答え	13
THECORRECTANSWERIS	アダプター	13
TOWARDS	既存	13
ADAPTER	少数	12
AT	財務	12
EXISTING	一般	12
FEW	知識エラー	12
FINANCE	理由	12
GENERAL	知識不足	12
KNOWLEDGEERRORREASON	LU	12
LACKOFKNOWLEDGE	ノルエピネフリン	12
LU	OWL	12
NOREPINEPHRINE	ページ	12
OWL	病理学	12
PAGES	処理	12
PATHOLOGY	ランダム	12
PROCESSING	重要な	12
RANDOM	社会学	12
SHOWS	ST	12
SIGNIFICANT	TE CH	12
SOCIOLOGY	さまざまな	12
ST	VQA	12
TECH	ウィル	12
VARIOUS	ヤン	12
VQA	注釈	12
WILL	ベース	12
YANG	バニー	12
ANNOTATION	挑戦的	11
BASED	COGVLM	11
BEEN	クレープ	11
BUNNY	診断	11
CHALLENGING	多様	11
COGVLM	頻繁	11
CREPE	重	11
DIAGNOSTICS	人文科学	11
DIVERSE	コスモス	11
FREQUENT	レンズ	11
HEAVY	マックス	11
HUMANITIES	機械	11
KOSMOS	医療	11
LENS	中	11
MAX	ミニPT	11
MECHANICAL	MPLUG	11
MEDICAL	オプション	11
MEDIUM	薬局	11
MINIGPT	合計	11
MPLUG	トレーニング	11
OPTIONS	超	11
PHARMACY	魏	11
THERE	周	11
TOTAL	A上級	11
TRAINING	動物	11
ULTRA	CA	11
WEI	コア	11
WOULD	F	11
ZHOU	ファイン	11
ADVANCED	フラッシュ	10
ANIMAL	HUANG	10
CA	INFIMM	10
CORE	INTERNLM	10
F	ラボ	10
FINE	ライト	10
FLASH	メカニクス	10
HUANG	モーダル	10
INFIMM	ノー	10
INTERNLM	知覚	10
LABORATORY	パフォーマンス	10
LIGHT	物理学	10
MECHANICS	圧力	10
MODAL	問題	10
NO	品質	10
PERCEPTION	表現	10
PERFORMING	SENSECHAT	10
PHYSICS	SPHINX	10
PRESSURE	研究	10
PROBLEMS	サブフィールド	10
QUALITY	SVIT	10
REPRESENTATION	チーム	10
SENSECHAT	教科書	10
SPHINX	タイプ	10
STUDY	UP	10
SUBFIELDS	VILA	10
SVIT	XCOMPOSER	10

GPT

arxiv

arxiv
https://arxiv.org/

Multi Modal

pdf 55, txt 52

Engineering Festa 2024前に必読記事一覧

programの本質は計画だ。programは設計だ。
https://qiita.com/kaizen_nagoya/items/c8545a769c246a458c27

登壇直後版 色使い(JIS安全色) Qiita Engineer Festa 2023〜私しか得しないニッチな技術でLT〜 スライド編 0.15
https://qiita.com/kaizen_nagoya/items/f0d3070d839f4f735b2b

プログラマが知っていると良い「公序良俗」
https://qiita.com/kaizen_nagoya/items/9fe7c0dfac2fbd77a945

逆も真：社会人が最初に確かめるとよいこと。OSEK(69)、Ethernet(59)
https://qiita.com/kaizen_nagoya/items/39afe4a728a31b903ddc

統計の嘘。仮説（127）
https://qiita.com/kaizen_nagoya/items/63b48ecf258a3471c51b

自分の言葉だけで論理展開できるのが天才なら、文章の引用だけで論理展開できるのが秀才だ。仮説（136）
https://qiita.com/kaizen_nagoya/items/97cf07b9e24f860624dd

参考文献駆動執筆(references driven writing)・デンソークリエイト編
https://qiita.com/kaizen_nagoya/items/b27b3f58b8bf265a5cd1

「何を」よりも「誰を」。１０年後のために今見習いたい人たち
https://qiita.com/kaizen_nagoya/items/8045978b16eb49d572b2

Qiitaの記事に３段階または５段階で到達するための方法
https://qiita.com/kaizen_nagoya/items/6e9298296852325adc5e

出力(output)と呼ばないで。これは状態(state)です。
https://qiita.com/kaizen_nagoya/items/80b8b5913b2748867840

coding (101) 一覧を作成し始めた。omake:最近のQiitaで表示しない5つの事象
https://qiita.com/kaizen_nagoya/items/20667f09f19598aedb68

あなたは「勘違いまとめ」から、勘違いだと言っていることが勘違いだといくつ見つけられますか。人間の間違い(human error(125))の種類と対策
https://qiita.com/kaizen_nagoya/items/ae391b77fffb098b8fb4

プログラマの「プログラムが書ける」思い込みは強みだ。３つの理由。仮説（168）統計と確率(17) , OSEK(79)
https://qiita.com/kaizen_nagoya/items/bc5dd86e414de402ec29

出力(output)と呼ばないで。これは状態(state)です。
https://qiita.com/kaizen_nagoya/items/80b8b5913b2748867840

これからの情報伝達手段の在り方について考えてみよう。炎上と便乗。
https://qiita.com/kaizen_nagoya/items/71a09077ac195214f0db

ISO/IEC JTC1 SC7 Software and System Engineering
https://qiita.com/kaizen_nagoya/items/48b43f0f6976a078d907

アクセシビリティの知見を発信しよう！（再び）
https://qiita.com/kaizen_nagoya/items/03457eb9ee74105ee618

統計論及確率論輪講（再び）
https://qiita.com/kaizen_nagoya/items/590874ccfca988e85ea3

読者の心をグッと惹き寄せる7つの魔法
https://qiita.com/kaizen_nagoya/items/b1b5e89bd5c0a211d862

「@kazuo_reve 新人の方によく展開している有益な情報」確認一覧
https://qiita.com/kaizen_nagoya/items/b9380888d1e5a042646b

ソースコードで議論しよう。日本語で議論するの止めましょう（あるプログラミング技術の議論報告）
https://qiita.com/kaizen_nagoya/items/8b9811c80f3338c6c0b0

脳内コンパイラの3つの危険
https://qiita.com/kaizen_nagoya/items/7025cf2d7bd9f276e382

心理学の本を読むよりはコンパイラ書いた方がよくね。仮説（34）
https://qiita.com/kaizen_nagoya/items/fa715732cc148e48880e

NASAを超えるつもりがあれば読んでください。
https://qiita.com/kaizen_nagoya/items/e81669f9cb53109157f6

データサイエンティストの気づき!「勉強して仕事に役立てない人。大嫌い!!」『それ自分かも?』ってなった!!!
https://qiita.com/kaizen_nagoya/items/d85830d58d8dd7f71d07

「ぼくの好きな先生」「人がやらないことをやれ」プログラマになるまで。仮説（37）　
https://qiita.com/kaizen_nagoya/items/53e4bded9fe5f724b3c4

なぜ経済学徒を辞め、計算機屋になったか（経済学部入学前・入学後・卒業後対応） 転職(1)
https://qiita.com/kaizen_nagoya/items/06335a1d24c099733f64

プログラミング言語教育のXYZ。 仮説（52）
https://qiita.com/kaizen_nagoya/items/1950c5810fb5c0b07be4

【24卒向け】9ヶ月後に年収１０００万円を目指す。二つの関門と三つの道。
https://qiita.com/kaizen_nagoya/items/fb5bff147193f726ad25

「【25卒向け】Qiita Career Meetup for STUDENT」予習の勧め
https://qiita.com/kaizen_nagoya/items/00eadb8a6e738cb6336f

大学入試不合格でも筆記試験のない大学に入って卒業できる。卒業しなくても博士になれる。
https://qiita.com/kaizen_nagoya/items/74adec99f396d64b5fd5

全世界の不登校の子供たち「博士論文」を書こう。世界子供博士論文遠隔実践中心 安全(99)
https://qiita.com/kaizen_nagoya/items/912d69032c012bcc84f2

小川メソッド　覚え（書きかけ）
https://qiita.com/kaizen_nagoya/items/3593d72eca551742df68

DoCAP（ドゥーキャップ）って何ですか？
https://qiita.com/kaizen_nagoya/items/47e0e6509ab792c43327

views 20,000越え自己記事一覧
https://qiita.com/kaizen_nagoya/items/58e8bd6450957cdecd81

Views１万越え、もうすぐ１万記事一覧 最近いいねをいただいた213記事
https://qiita.com/kaizen_nagoya/items/d2b805717a92459ce853

関連資料

' @kazuo_reve 私が効果を確認した「小川メソッド」
https://qiita.com/kazuo_reve/items/a3ea1d9171deeccc04da

' @kazuo_reve 新人の方によく展開している有益な情報
https://qiita.com/kazuo_reve/items/d1a3f0ee48e24bba38f1

' @kazuo_reve Vモデルについて勘違いしていたと思ったこと
https://qiita.com/kazuo_reve/items/46fddb094563bd9b2e1e

自己記事一覧

Qiitaで逆リンクを表示しなくなったような気がする。時々、スマフォで表示するとあらわっることがあり、完全に削除したのではなさそう。

４月以降、せっせとリンクリストを作り、統計を取って確率を説明しようとしている。
2025年２月末を目標にしている。

物理記事　上位100
https://qiita.com/kaizen_nagoya/items/66e90fe31fbe3facc6ff

量子(0) 計算機, 量子力学
https://qiita.com/kaizen_nagoya/items/1cd954cb0eed92879fd4

数学関連記事１００
https://qiita.com/kaizen_nagoya/items/d8dadb49a6397e854c6d

統計(0)一覧
https://qiita.com/kaizen_nagoya/items/80d3b221807e53e88aba

図(0) state, sequence and timing. UML and お絵描き
https://qiita.com/kaizen_nagoya/items/60440a882146aeee9e8f

品質一覧
https://qiita.com/kaizen_nagoya/items/2b99b8e9db6d94b2e971

言語・文学記事　１００
https://qiita.com/kaizen_nagoya/items/42d58d5ef7fb53c407d6

自動車　記事　１００
https://qiita.com/kaizen_nagoya/items/f7f0b9ab36569ad409c5

通信記事１００
https://qiita.com/kaizen_nagoya/items/1d67de5e1cd207b05ef7

日本語（０）一欄
https://qiita.com/kaizen_nagoya/items/7498dcfa3a9ba7fd1e68

英語(0) 一覧
https://qiita.com/kaizen_nagoya/items/680e3f5cbf9430486c7d

転職(0)一覧
https://qiita.com/kaizen_nagoya/items/f77520d378d33451d6fe

仮説（0）一覧（目標100現在40）
https://qiita.com/kaizen_nagoya/items/f000506fe1837b3590df

音楽　一覧(0)
https://qiita.com/kaizen_nagoya/items/b6e5f42bbfe3bbe40f5d

「@kazuo_reve 新人の方によく展開している有益な情報」確認一覧
https://qiita.com/kaizen_nagoya/items/b9380888d1e5a042646b

Qiita(0)Qiita関連記事一覧（自分）
https://qiita.com/kaizen_nagoya/items/58db5fbf036b28e9dfa6

鉄道（０）鉄道のシステム考察はてっちゃんがてつだってくれる
https://qiita.com/kaizen_nagoya/items/faa4ea03d91d901a618a

安全（0）安全工学シンポジウムに向けて: 21
https://qiita.com/kaizen_nagoya/items/c5d78f3def8195cb2409

一覧の一覧( The directory of directories of mine.) Qiita(100)
https://qiita.com/kaizen_nagoya/items/7eb0e006543886138f39

Ethernet 記事一覧　Ethernet(0)
https://qiita.com/kaizen_nagoya/items/88d35e99f74aefc98794

Wireshark 一覧 wireshark(0)、Ethernet(48)
https://qiita.com/kaizen_nagoya/items/fbed841f61875c4731d0

線網（Wi-Fi）空中線(antenna)(0) 記事一覧(118/300目標)
https://qiita.com/kaizen_nagoya/items/5e5464ac2b24bd4cd001

OSEK OS設計の基礎　OSEK(100)
https://qiita.com/kaizen_nagoya/items/7528a22a14242d2d58a3

Error一覧 error(0)
https://qiita.com/kaizen_nagoya/items/48b6cbc8d68eae2c42b8

C++ Support(0)　
https://qiita.com/kaizen_nagoya/items/8720d26f762369a80514

Coding(0) Rules, C, Secure, MISRA and so on
https://qiita.com/kaizen_nagoya/items/400725644a8a0e90fbb0

coding (101) 一覧を作成し始めた。omake:最近のQiitaで表示しない5つの事象
https://qiita.com/kaizen_nagoya/items/20667f09f19598aedb68

プログラマによる、プログラマのための、統計(0)と確率のプログラミングとその後
https://qiita.com/kaizen_nagoya/items/6e9897eb641268766909

なぜdockerで機械学習するか 書籍・ソース一覧作成中 (目標100)
https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2

言語処理100本ノックをdockerで。python覚えるのに最適。:10+12
https://qiita.com/kaizen_nagoya/items/7e7eb7c543e0c18438c4

プログラムちょい替え（0）一覧:4件
https://qiita.com/kaizen_nagoya/items/296d87ef4bfd516bc394

Python(0)記事をまとめたい。
https://qiita.com/kaizen_nagoya/items/088c57d70ab6904ebb53

官公庁・学校・公的団体（NPOを含む）システムの課題、官（０）
https://qiita.com/kaizen_nagoya/items/04ee6eaf7ec13d3af4c3

「はじめての」シリーズ　 ベクタージャパン　
https://qiita.com/kaizen_nagoya/items/2e41634f6e21a3cf74eb

AUTOSAR(0)Qiita記事一覧, OSEK(75)
https://qiita.com/kaizen_nagoya/items/89c07961b59a8754c869

プログラマが知っていると良い「公序良俗」
https://qiita.com/kaizen_nagoya/items/9fe7c0dfac2fbd77a945

LaTeX(0) 一覧　
https://qiita.com/kaizen_nagoya/items/e3f7dafacab58c499792

自動制御、制御工学一覧（０）
https://qiita.com/kaizen_nagoya/items/7767a4e19a6ae1479e6b

Rust(0) 一覧　
https://qiita.com/kaizen_nagoya/items/5e8bb080ba6ca0281927

100以上いいねをいただいた記事16選
https://qiita.com/kaizen_nagoya/items/f8d958d9084ffbd15d2a

小川清最終講義、最終講義（再）計画, Ethernet(100) 英語(100) 安全(100)
https://qiita.com/kaizen_nagoya/items/e2df642e3951e35e6a53

＜この記事は個人の過去の経験に基づく個人の感想です。現在所属する組織、業務とは関係がありません。＞
This article is an individual impression based on my individual experience. It has nothing to do with the organization or business to which I currently belong.

文書履歴(document history)

ver. 0.01 初稿 　20240908

最後までおよみいただきありがとうございました。

いいね　💚、フォローをお願いします。

Thank you very much for reading to the last sentence.

Please press the like icon 💚　and follow me for your happy life.