高周波エンジニアのためのAI・機械学習入門（GPU編1）PythonとKeras3.0を使ってディープラーニング（DNN)で3次のLCバンドパスフィルタ（BPF）のSパラメータの値から素子の値（L、C）を推定する。CPUだけ使っていた時より層が増やせて精度が大幅に向上した。

高周波エンジニアのためのAI・機械学習入門というシリーズ記事を過去に書いていたが、その時使っていたPCは古いノートPCでGPUもNVIDIAのものではなかった。

最近、NVIDIA GeForce RTX 5060 Laptop GPUを備えたノートPCを買ったので、その時やりたくても遅くてできなかったことをGPUで計算してみよう。

まずはこちらの例。

 高周波エンジニアのためのAI・機械学習入門（２）PythonとKeras3.0を使ってディープラーニング（DNN)で3次のLCバンドパスフィルタ（BPF）のSパラメータの値から素子の値（L、C）を推定する。　

この時は単純に3層のDenseを重ねているだけだった。ChatGPTに改良案を出してもらうと、

・出力もノーマライズしたほうがいい。

・Dense層にBatchNormalizationをしたほうがいい。

という意見だったので取り入れてみた。Kerasのバックエンドは以前試して早かったJax。

import os

os.environ["KERAS_BACKEND"] = "jax"

import keras

import numpy as np

import matplotlib.pyplot as plt

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

# ==========================

# 1. データ読み込み

# ==========================

data_label = np.load("data_label.npz")

data = data_label["data"]   # (N,200,5)

label = data_label["label"] # (N,6)

x_train, x_test, y_train, y_test = train_test_split(

    data, label, test_size=0.3, random_state=0

)

# ==========================

# 2. 特徴量スケーリング（x）

# ==========================

# DNNなのでreshapeして5列を標準化後に元shapeへ戻す

scaler_x = StandardScaler()

N_train = len(x_train)

N_test  = len(x_test)

x_train_f = scaler_x.fit_transform(

    x_train.reshape(N_train, -1)

).reshape(x_train.shape)

x_test_f = scaler_x.transform(

    x_test.reshape(N_test, -1)

).reshape(x_test.shape)

# ==========================

# 3. ラベルスケーリング（y）

# ==========================

# L, C の桁差や物理パラの偏り対策

scaler_y = StandardScaler()

y_train_f = scaler_y.fit_transform(y_train)

y_test_f  = scaler_y.transform(y_test)

# ==========================

# 4. モデル構築（純DNN）

# ==========================

keras.utils.set_random_seed(1)

inputs = keras.Input(shape=(200, 5))

x = keras.layers.Flatten()(inputs)

# Dense Block 1

x = keras.layers.Dense(256, activation="relu")(x)

x = keras.layers.BatchNormalization()(x)

# Dense Block 2

x = keras.layers.Dense(256, activation="relu")(x)

x = keras.layers.BatchNormalization()(x)

#x = keras.layers.Dropout(0.1)(x)

# Dense Block 3

x = keras.layers.Dense(256, activation="relu")(x)

x = keras.layers.BatchNormalization()(x)

#x = keras.layers.Dropout(0.1)(x)

# Dense Block 4

x = keras.layers.Dense(128, activation="relu")(x)

x = keras.layers.BatchNormalization()(x)

# Dense Block 5

x = keras.layers.Dense(64, activation="relu")(x)

x = keras.layers.BatchNormalization()(x)

# 出力

outputs = keras.layers.Dense(6)(x)

model = keras.Model(inputs=inputs, outputs=outputs)

# ==========================

# 5. 学習率スケジュール付きAdam

# ==========================

epochs = 500

lr_scheduler = keras.optimizers.schedules.CosineDecay(

    initial_learning_rate=1e-3,

    decay_steps=epochs * N_train

)

optimizer = keras.optimizers.Adam(learning_rate=lr_scheduler)

model.compile(loss="mse", optimizer=optimizer)

# ==========================

# 6. 学習

# ==========================

history = model.fit(

    x_train_f, y_train_f,

    batch_size=32,

    epochs=epochs,

    validation_split=0.15,

    verbose=1

)

# ==========================

# 7. 予測（スケールを元に戻す）

# ==========================

y_pred_f = model.predict(x_test_f)

y_pred = scaler_y.inverse_transform(y_pred_f)

# ==========================

# 8. R2評価

# ==========================

metric = keras.metrics.R2Score()

metric.update_state(y_test, y_pred)

print("\nR2 Score:", metric.result())

# ==========================

# 9. パーセント誤差（0除算対策）

# ==========================

# 小さい値の分母マスク

eps = 1e-12

valid_mask = np.abs(y_test) > eps

pct_error = np.zeros_like(y_test)

pct_error[valid_mask] = np.abs(

    (y_test[valid_mask] - y_pred[valid_mask]) / y_test[valid_mask] * 100

)

print("\n% Error per element (mean):", pct_error.mean(axis=0))

# ==========================

# 10. 相関プロット

# ==========================

row, column = 2, 3

legend = ["L1", "C1", "L2", "C2", "L3", "C3"]

fig, ax = plt.subplots(2, 3, figsize=(15,9))

for i in range(row):

    for j in range(column):

        count = column * i + j

        maxvalue = y_pred[:, count].max()

        ax[i,j].scatter(y_pred[:, count], y_test[:,count], c="r", s=5)

        ax[i,j].plot([0,maxvalue], [0,maxvalue], "--", c="black")

        ax[i,j].set_xlabel("推定した値")

        ax[i,j].set_ylabel("実際の値")

        ax[i,j].set_xlim(0, maxvalue)

        ax[i,j].set_ylim(0, maxvalue)

        ax[i,j].grid()

        ax[i,j].legend([legend[count] + f" 平均誤差{pct_error.mean(axis=0)[count]:.2f}%"])

fig.tight_layout()

plt.show()

これで

R2 Score: 0.99933887
% Error per element (mean): [1.56578255 1.03125885 1.06666956 1.60910096 1.59104376 1.030657 ]

となった。相関図はこちら。

前回は5～6％の誤差があって、明らかに相関がずれていたものがあるがこれは1％台で格段に向上している。

これは期待が持てるので次はCNNをやってみよう。