高周波エンジニアのためのAI・機械学習入門（GPU編23）TDRでは出せない複素特性インピーダンスの周波数特性を予測する。今回はkerasとバックエンドにJaxを使ったRNN（LSTM）で。

DNN,CNNとやってきたので今回はRNNの一種であるLSTMでやってみよう。

コードはこちら。

import numpy as np

import matplotlib.pyplot as plt

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

import os

os.environ["KERAS_BACKEND"] = "jax"

import keras

from jax import config

config.update("jax_enable_x64", False)

plt.rcParams['font.family'] = 'Noto Sans CJK JP'

data_label = np.load("tl_freq_data.npz")

data = data_label["data"]

label = data_label["label"]

x_train, x_test, y_train, y_test = train_test_split(data, label, test_size=0.3, random_state=0)

y_train_list = [y_train[:,:,1], y_train[:,:,2]]

y_test_list = [y_test[:,:,1], y_test[:,:,2]]

scaler_y = [StandardScaler() for _ in range(2)]

y_train_list_f = [None for _ in range(2)]

for i in range(2):

    scaler_y[i] = StandardScaler()

    y_train_list_f[i] = scaler_y[i].fit_transform(y_train_list[i])

inputs = keras.Input(shape=(200, 5))

x = keras.layers.LSTM(100, return_sequences=True)(inputs)

x = keras.layers.LSTM(100)(x)

outputs = [keras.layers.Dense(200)(x) for i in range(2)]

model = keras.Model(inputs=inputs, outputs=outputs)

model.compile(loss = 'mean_squared_error' ,optimizer=keras.optimizers.Adam())

batch_size = 64

epochs = 1000

keras.utils.set_random_seed(1)

history = model.fit(

    x_train,

    y_train_list_f,

    batch_size=batch_size,

    epochs=epochs,

    validation_split=0.15,

)

y_pred_list_f = model.predict(x_test)

y_pred_list = [None for _ in range(2)]

for i in range(2):

    y_pred_list[i] = scaler_y[i].inverse_transform(y_pred_list_f[i])

metric = keras.metrics.R2Score()

for idx in range(2):

    print(f"R2 score for label {idx}:")

    metric.update_state(y_test_list[idx], y_pred_list[idx])

    result = metric.result()

    print(result)

R2スコアはこちら。CNNと同等か。

R2 score for label 0:
0.9999878
R2 score for label 1:
0.9999979

代表例をやってみる。

かなりあっている。最大誤差をヒストグラムにしたもの。

ちょっとCNNより劣るかな（パラメータ調整してないので）。次はTransformerをやってみよう。