Jupyter-lab + matplotlib でマウス位置の画像データのピクセル値を表示するメモ

背景

画像データ(RGB もだが, 物理データやテンソルデータの画像など)のピクセル値を Jupyter-lab でお手軽ぺろっとやりたい

方法

Jupyter notebook と Jupyter-lab とは仕組みが違うようで, notebook のやり方は使えません(%matplotlib notebook, inline もだめだった)

matplotlib の interactive plot は仕組みが違うらしく(JS 出力なものを使う必要がある?) 2020 年 8 月 11 日時点の jupyter-lab では以下の方法のみ使えました.

ipympl と, jupyter-matplotlib 拡張をインストールが必要です.

$ jupyter labextension install @jupyter-widgets/jupyterlab-manager
$ jupyter labextension install jupyter-matplotlib

をします.

jupyterlab-manager は Jupyter-lab 上でも行えます.

sample

from stackoverflow

%matplotlib widget
import matplotlib.pyplot as plt
import numpy as np
import ipywidgets as wdg  # Using the ipython notebook widgets

# Create a random image
a = np.random.poisson(size=(12,15))
fig = plt.figure()
plt.imshow(a)

# Create and display textarea widget
txt = wdg.Textarea(
    value='',
    placeholder='',
    description='event:',
    disabled=False
)
display(txt)

# Define a callback function that will update the textarea
def onclick(event):
    txt.value = str(event)  # Dynamically update the text box above

# Create an hard reference to the callback not to be cleared by the garbage collector
ka = fig.canvas.mpl_connect('button_press_event', onclick)

Voila!

        @axlair/jupyterlab_vim v0.12.2  enabled  OK
        @jupyter-widgets/jupyterlab-manager v2.0.0  enabled  OK
        itkwidgets v0.27.0  enabled  OK
        jupyter-matplotlib v0.7.3  enabled  OK

zoom

shift + 左ドラッグで zoom in できます.
右ドラッグで zoom out できるようですが, 使い勝ってがいまいちです.

picker

picker のイベント登録で, いろいろ拡張できるでしょう.

jupyterlab で matplotlib のプロット図に picker を設定するメモ
https://qiita.com/syoyo/items/7644dbcd2f2cd84c02bb

picker などのイベントと組み合わせして, ユーザー指定した 4 角を colorchecker の枠に指定する, とかみたいな処理ができると想像できます.

ipywidgets interact との組み合わせ

一応 interact と組み合わせできるの確認しました.

しかし

# Create a random image
def bora(sx):
    a = np.random.poisson(size=(sx,15))
    fig = plt.figure()
    plt.imshow(a)

    # Create and display textarea widget
    txt = wdg.Textarea(
        value='',
        placeholder='',
        description='event:',
        disabled=False
    )
    display(txt)

    # Define a callback function that will update the textarea
    def onclick(event):
        txt.value = str(event)  # Dynamically update the text box above

    # Create an hard reference to the callback not to be cleared by the garbage collector
    ka = fig.canvas.mpl_connect('button_press_event', onclick)

interact(bora, sx=15)

な感じにすると, fig をたくさん開いているよ warning が出てしまいました.
適宜 close を呼ぶ必要がありそうです.