高周波エンジニアのためのAI・機械学習入門（GPU編21）TDRでは出せない複素特性インピーダンスの周波数特性を予測する。今回はkerasとバックエンドにJaxを使ったDNNで。

さて前回は複素特性インピーダンスの周波数特性をscikit-rfでモンテカルロシミュレーションを使って作った。

今回は早速Keras（バックエンドはJax）を使って学習・予測してみよう。

まずはDNN(Deep Neural Networks)から。

コードはこちら。

import numpy as np

import matplotlib.pyplot as plt

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

import os

os.environ["KERAS_BACKEND"] = "jax"

import keras

from jax import config

config.update("jax_enable_x64", False)

plt.rcParams['font.family'] = 'Noto Sans CJK JP'

data_label = np.load("tl_freq_data.npz")

data = data_label["data"]

label = data_label["label"]

x_train, x_test, y_train, y_test = train_test_split(data, label, test_size=0.3, random_state=0)

y_train_list = [y_train[:,:,1], y_train[:,:,2]]

y_test_list = [y_test[:,:,1], y_test[:,:,2]]

scaler_y = [StandardScaler() for _ in range(2)]

y_train_list_f = [None for _ in range(2)]

for i in range(2):

    scaler_y[i] = StandardScaler()

    y_train_list_f[i] = scaler_y[i].fit_transform(y_train_list[i])

hidden_dim = 300

inputs = keras.Input(shape=(200, 5))

x = keras.layers.Flatten()(inputs)

x = keras.layers.Dense(hidden_dim, activation="relu")(x)

x = keras.layers.LayerNormalization(epsilon=1.0e-6)(x)

x = keras.layers.Dense(hidden_dim, activation="relu")(x)

x = keras.layers.LayerNormalization(epsilon=1.0e-6)(x)

x = keras.layers.Dense(hidden_dim, activation="relu")(x)

x = keras.layers.LayerNormalization(epsilon=1.0e-6)(x)

x = keras.layers.Dense(hidden_dim, activation="relu")(x)

x = keras.layers.LayerNormalization(epsilon=1.0e-6)(x)

outputs = [keras.layers.Dense(200)(x) for i in range(2)]

model = keras.Model(inputs=inputs, outputs=outputs)

model.compile(loss = 'mean_squared_error' ,optimizer=keras.optimizers.Adam())

batch_size = 128

epochs = 1000

keras.utils.set_random_seed(1)

history = model.fit(

    x_train,

    y_train_list_f,

    batch_size=batch_size,

    epochs=epochs,

    validation_split=0.15,

)

y_pred_list_f = model.predict(x_test)

y_pred_list = [None for _ in range(2)]

for i in range(2):

    y_pred_list[i] = scaler_y[i].inverse_transform(y_pred_list_f[i])

metric = keras.metrics.R2Score()

for idx in range(2):

    print(f"R2 score for label {idx}:")

    metric.update_state(y_test_list[idx], y_pred_list[idx])

    result = metric.result()

    print(result)

実行するとR2scoreは

R2 score for label 0:
0.9999624
R2 score for label 1:
0.99999356

とかなりいい感じ。とりあえず1つのデータで確かめる。

かなりいい感じであっている。誤差の最大値をヒストグラムにしてみる。

いい感じで合っている。次は別のアルゴリズムを試してみる。