はじめに
天文学の分野では、観測データをFITS（Flexible Image Transport System）形式で保存するのが一般的です。しかし、時にはデータ内に重複する行が含まれることがあります。本記事では、擬似的なFITSファイルを生成し、pandasを使って重複行を検出する方法を紹介します。
また、numpyとpandasのエンディアンの取り扱いに関する違いにも注意を向け、エンディアンの変換が必要な場合の対処法を解説します。
目次
- FITSファイルとエンディアンの取り扱いの違い
- 擬似FITSファイルの生成
- pandasを使った重複行の検出と保存
- エンディアンの確認と変換の方法
- サンプルコードと実行例
1. FITSファイルとエンディアンの取り扱いの違い
FITSファイルは、古いハードウェアや異なるプラットフォーム間の互換性を確保するため、ビッグエンディアン（Big-endian）形式 でデータを保存することが一般的です。
一方、numpyとpandasはデフォルトで リトルエンディアン（Little-endian） を使用します。
このエンディアンの不一致が原因で、pandasでデータを処理する際にエラーが発生することがあります。
2. 擬似FITSファイルの生成
以下のコードは、イベントデータを持つ擬似的なFITSファイルを生成します。
FITSファイル生成コード
create_mock_fits.py
from astropy.io import fits
import numpy as np
def create_mock_fits(filename):
"""Generate a mock FITS file with event data, including duplicates."""
n_rows = 20
time = np.concatenate([np.linspace(0, 19, 20), [10]]) # Duplicate TIME at 10
itype = np.random.randint(0, 8, n_rows + 1)
pixel = np.random.randint(0, 36, n_rows + 1)
trig_lp = np.random.randint(0, 1000, n_rows + 1)
deriv_max = np.random.randint(-32768, 32767, n_rows + 1)
cols = [
fits.Column(name='TIME', format='D', array=time),
fits.Column(name='ITYPE', format='B', array=itype),
fits.Column(name='PIXEL', format='B', array=pixel),
fits.Column(name='TRIG_LP', format='J', array=trig_lp),
fits.Column(name='DERIV_MAX', format='I', array=deriv_max)
]
hdu = fits.BinTableHDU.from_columns(cols)
hdu.writeto(filename, overwrite=True)
print(f"Mock FITS file created: {filename}")
create_mock_fits('mock_event_data.fits')
3. pandasを使った重複行の検出と保存
以下のコードは、FITSファイルからデータを読み込み、TIMEに基づいて重複行を検出し、新しいFITSファイルに保存します。
重複行の検出コード
find_duplicates.py
from astropy.io import fits
import pandas as pd
def load_fits_to_dataframe(fits_file):
"""Load FITS data into a pandas DataFrame with endian conversion."""
with fits.open(fits_file) as hdul:
data = hdul[1].data
# Ensure all data is converted to Little-endian for pandas compatibility
df = pd.DataFrame({
'TIME': data['TIME'].byteswap().newbyteorder(),
'ITYPE': data['ITYPE'].byteswap().newbyteorder(),
'PIXEL': data['PIXEL'].byteswap().newbyteorder(),
'TRIG_LP': data['TRIG_LP'].byteswap().newbyteorder(),
'DERIV_MAX': data['DERIV_MAX'].byteswap().newbyteorder()
})
return df
def find_and_save_duplicates(df, output_file):
"""Find duplicate rows based on 'TIME' and save them to a new FITS file."""
duplicates = df[df.duplicated('TIME', keep=False)]
print(f"Found {len(duplicates)} duplicate rows.")
if not duplicates.empty:
hdu = fits.BinTableHDU.from_columns([
fits.Column(name='TIME', format='D', array=duplicates['TIME']),
fits.Column(name='ITYPE', format='B', array=duplicates['ITYPE']),
fits.Column(name='PIXEL', format='B', array=duplicates['PIXEL']),
fits.Column(name='TRIG_LP', format='J', array=duplicates['TRIG_LP']),
fits.Column(name='DERIV_MAX', format='I', array=duplicates['DERIV_MAX'])
])
hdu.writeto(output_file, overwrite=True)
print(f"Duplicate rows saved to {output_file}")
df = load_fits_to_dataframe('mock_event_data.fits')
find_and_save_duplicates(df, 'duplicates.fits')
4. エンディアンの確認と変換の方法
エンディアンの確認
以下のコードで、numpy配列のエンディアンを確認できます。
print(df['TIME'].dtype) # >f8: Big-endian, <f8: Little-endian
-
>f8：Big-endian -
<f8：Little-endian
エンディアンの変換
以下のように、byteswap()とnewbyteorder()を使ってエンディアンを変換します。
df['TIME'] = df['TIME'].byteswap().newbyteorder()
5. サンプルコードと実行例
実行手順
-
擬似FITSファイルを生成:
python create_mock_fits.pyFITSファイルの中身を
ftlistを用いて確認します。
> ftlist mock_event_data.fits
Print options: H C K I T [C] T
TIME ITYP PIXE TRIG_LP DERIV_
1 0.00000000000000 4 28 503 -14406
2 1.00000000000000 1 26 368 5503
3 2.00000000000000 6 19 350 -3004
4 3.00000000000000 4 31 948 32573
5 4.00000000000000 7 0 494 -14526
6 5.00000000000000 5 32 51 -29495
7 6.00000000000000 7 9 496 -25354
8 7.00000000000000 5 9 572 32754
9 8.00000000000000 3 24 51 14589
10 9.00000000000000 2 32 658 -13708
11 10.0000000000000 7 2 294 32600
12 11.0000000000000 7 10 281 -27159
13 12.0000000000000 2 11 703 27509
14 13.0000000000000 2 14 283 7499
15 14.0000000000000 7 24 802 30085
16 15.0000000000000 1 4 897 22922
17 16.0000000000000 5 33 939 -30371
18 17.0000000000000 3 32 677 7238
19 18.0000000000000 2 28 960 6749
20 19.0000000000000 2 34 181 24114
21 10.0000000000000 6 25 644 -8361
-
重複行を検出して保存:
python find_duplicates.py
出力例
Mock FITS file created: mock_event_data.fits
Found 2 duplicate rows.
Duplicate rows saved to duplicates.fits
ファイルの中身も確認しましょう。
>ftlist duplicates.fits
TIME ITYP PIXE TRIG_LP DERIV_
1 10.0000000000000 7 2 294 32600
2 10.0000000000000 6 25 644 -8361
TIMEが 10.0 の部分だけが検出できていますね。
まとめ
本記事では、擬似FITSファイルの生成から重複行の検出、エンディアンの変換方法について説明しました。FITSファイルの解析では、numpyとpandasのエンディアンの違いに注意が必要です。必要に応じてエンディアンをリトルエンディアンに変換し、データの互換性を確保しましょう。