高周波エンジニアのためのAI・機械学習入門（GPU編28）Keras3(バックエンドはJax)を使ってディープラーニング(DNN)で21次のLCバンドパスフィルタ（L,Cのパラメータ42個）のSパラメータの値から素子の値（L、C）を推定する。全パラメータ平均誤差1％台になった。

先日は21次のチェビシェフ特性のバンドパスフィルタのデータをモンテカルロシミュレーションで10000個作った。

ではまず普通のディープラーニングで42パラメータを予測してみよう。

コードはこんな感じで。前回、LayerNormalizationを使うとよかったので今回も入れている。

import os

os.environ["KERAS_BACKEND"] = "jax"

import keras

import jax

import numpy as np

import matplotlib.pyplot as plt

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

from jax import config

config.update("jax_enable_x64", False)

plt.rcParams['font.family'] = 'Noto Sans CJK JP'

data_label = np.load("21stagefilter.npz")

data = data_label["data"]

label = data_label["label"]

x_train, x_test, y_train, y_test = train_test_split(data, label, test_size=0.3, random_state=0)

scaler_y = StandardScaler()

y_train_f = scaler_y.fit_transform(y_train)

ord = 21

hidden_dim = 200

inputs = keras.Input(shape=(200, 5))

x = keras.layers.Flatten()(inputs)

x = keras.layers.Dense(hidden_dim, activation="relu")(x)

x = keras.layers.LayerNormalization()(x)

x = keras.layers.Dense(hidden_dim, activation="relu")(x)

x = keras.layers.LayerNormalization()(x)

x = keras.layers.Dense(hidden_dim, activation="relu")(x)

x = keras.layers.LayerNormalization()(x)

outputs = keras.layers.Dense(ord * 2)(x)

model = keras.Model(inputs=inputs, outputs=outputs)

model.compile(loss = 'mean_squared_error' ,optimizer=keras.optimizers.Adam())

batch_size = 128

epochs = 500

keras.utils.set_random_seed(1)

history = model.fit(

    x_train,

    y_train_f,

    batch_size=batch_size,

    epochs=epochs,

    validation_split=0.15,

)

y_pred_f = model.predict(x_test)

y_pred = scaler_y.inverse_transform(y_pred_f)

metric = keras.metrics.R2Score()

metric.update_state(y_test, y_pred)

result = metric.result()

print(result)

error = np.abs((y_test - y_pred)/y_test*100)

print(error.mean(axis=0))

結果をグラフにするコードはこんな感じで。

row, column = 7, 6

legend = []

for i in range(ord):

    legend.append("L" + str(i+1))

    legend.append("C" + str(i+1))

fig, ax = plt.subplots(row, column, figsize=(15,16))

plt.rcParams["font.size"] = 8

for i in range(row):

    for j in range(column):

        count = column * i + j

        maxvalue = y_pred[:, count].max()

        ax[i,j].scatter(y_pred[:, count], y_test[:,count], c="r", s=5)

        ax[i,j].plot([0,maxvalue], [0,maxvalue], "--", c="black")

        ax[i,j].set_xlabel("推定した値")

        ax[i,j].set_ylabel("実際の値")

        ax[i,j].set_xlim(0, maxvalue)

        ax[i,j].set_ylim(0, maxvalue)

        ax[i,j].grid()

        ax[i,j].legend([legend[count] + f" 平均誤差{error.mean(axis=0)[count]:.2f}%"])

fig.tight_layout()

plt.show()

図示してみる。

これだけパラメータが増えても1％前後の平均誤差でなかなかよさそう。次はCNNをやってみよう。