« 高周波エンジニアのためのAI・機械学習入門(1) 準備としてPythonとscikit-rfを使って学習データとして大量のLCバンドパスフィルタ(BPF)のSパラメータデータとその回路素子の値をモンテカルロシミュレーションで作る。 | トップページ | 高周波・RFニュース 2024年8月7日 ロームと東京農工大のテラヘルツメタレンズ、5G Americasのニューラルホストについての新しいホワイトペーパー、Samsungが薄型LPDDR5X量産、Intel 18Aの進捗、Huaweiの5.5G、Siversのフォトニクス部門がbyNordicと統合など »

2024年8月 6日 (火)

高周波エンジニアのためのAI・機械学習入門(2)PythonとKeras3.0を使ってディープラーニング(DNN)で3次のLCバンドパスフィルタ(BPF)のSパラメータの値から素子の値(L、C)を推定する。 

機械学習に使われるフレームワークはいろいろあるが、最近Keras3.0になってマルチバックエンドになってTensorFlow, JAX, PyTorchが後で動いて、全く同じ書き方で3つが使えるようになった。

Keras 3.0になってマルチバックエンド(TensorFlow,jax, PyTorch)が使えるようになったので速度を比較してみる(1) MNIST(手書き数字認識)でPythonコード書いてDNNでやってみる。TensorFlowが一番速く、jax, PyTorchの順(CPUのみ使用の場合)。ちょっと意外。 

Keras 3.0になってマルチバックエンド(TensorFlow,jax, PyTorch)が使えるようになったので速度を比較してみる(2) MNIST(手書き数字認識)でPythonでCNN(畳み込みニューラルネットワーク)でやってみる。TensorFlowが一番速く、PyTorch, JAXの順(CPUのみ使用の場合)。

Keras 3.0になってマルチバックエンド(TensorFlow,JAX, PyTorch)が使えるようになったので速度を比較してみる(3) MNIST(手書き数字認識)でPythonでRNN(再帰型ニューラルネットワーク)のBidirectional LSTMを試す。やっぱりTensorFlowが一番速く、JAX、PyTorchの順。

とにかくKerasは使うのが易しく、機械学習の非専門家にはうってつけ、ということでKerasを使う。バックエンドはTensorFlowにしているがお好みで別のものでもOK。

データは先日作ったこちらを使う。

 高周波エンジニアのためのAI・機械学習入門(1) 準備としてPythonとscikit-rfを使って学習データとして大量のLCバンドパスフィルタ(BPF)のSパラメータデータとその回路素子の値をモンテカルロシミュレーションで作る。

復習すると、入力は3次のバンドパスフィルタのSパラメータ(正規化した周波数、S11実部、S11虚部、S21実部、S21虚部)で、出力はL,C素子の値6つ。並べ方がKerasで読めるようにそれぞれ(データ数,200, 5) (データ数,6)

のような形になっている。まずはデータを読み込んで訓練データとテストデータに分ける。今回は訓練データ7:テストデータ3の割合。


import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
import os
os.environ["KERAS_BACKEND"] = "tensorflow"
import keras

data_label = np.load("data_label.npz")
data = data_label["data"]
label = data_label["label"]
x_train, x_test, y_train, y_test = train_test_split(data, label, test_size=0.3, random_state=0)

次にモデルを作る。KerasだとSequentialモデルというのが簡単だが、

Sequential モデル

後々出力が複数あるような例題をやろうとおもうのでFunctional APIというのを使う。

Functional API のガイド

最初に試すのはいわゆるディープラーニングと呼ばれるDNN(Deep Neural Networks)。

はじめてのニューラルネットワーク:分類問題の初歩

今回のモデルは以下の通り。DNNは全結合層(Dense)を複数重ねていくのが、そのユニット数(隠れ次元)は100で3層重ねている。

ただ入力が全部結合するので順番に意味がなくなる。そこでもともと200,5だったデータを1次元に落とすFlattenというものを最初に使っている。これを最初見たとき、せっかく周波数ごとに並んでいるのに情報消してる…と思ったが、そういう情報も使うアルゴリズムもあるので後々試していく。

活性化関数はReLU(最後の層だけは回帰なのでlinear)、ロス関数は回帰で使うには平均二乗誤差、オプティマイザーはAdamというのはたぶん何見ても書いてあるので略。


# Functional APIでDense層を3層にしたDNNを設定
hidden_dim = 100
inputs = keras.Input(shape=(200, 5))
x = keras.layers.Flatten()(inputs)
x = keras.layers.Dense(hidden_dim, activation="relu")(x)
x = keras.layers.Dense(hidden_dim, activation="relu")(x)
x = keras.layers.Dense(hidden_dim, activation="relu")(x)
outputs = keras.layers.Dense(6)(x)

# モデルの設定
model = keras.Model(inputs=inputs, outputs=outputs)
model.compile(loss = 'mean_squared_error' ,optimizer=keras.optimizers.Adam())

Kerasが便利なのはmodel.summary()とすると層の情報を出力してくれること。Flatten後に200,5が1000になっていることも分かる。

Rfai003

ここから学習を始める。model.fitで簡単にできるのもkerasのいいところ。とりあえずエポック(学習回数)は300で。


batch_size = 32
epochs = 300

keras.utils.set_random_seed(1)
history = model.fit(
    x_train,
    y_train,
    batch_size=batch_size,
    epochs=epochs,
    validation_split=0.15,
)
y_pred = model.predict(x_test)
metric = keras.metrics.R2Score()
metric.update_state(y_test, y_pred)
result = metric.result()
print(result)
error = np.abs((y_test - y_pred)/y_test*100)
print(error.mean(axis=0))

結果がこちら。R2は0.995もある。誤差は素子によって1%を切るものから数%まで。まあまあじゃなかろうか。

tf.Tensor(0.99566436, shape=(), dtype=float32)
[0.35018807 8.82631366 5.86103927 0.40482717 0.35743293 5.65281861]

これを横軸推定値、縦軸が実際の値として図示するとこうなる。シリーズのC、シャントのLが精度いまいちだが、これはフィッティングの場合も難しいのでまあ仕方がない。何も考えずDNNしただけとしては非常に精度がいいんではなかろうか。

Rfai004

図示するコードはこんな感じで。


row, column = 2, 3
legend = ["L1", "C1", "L2", "C2", "L3", "C3"]
fig, ax = plt.subplots(2, 3, figsize=(15,9))
for i in range(row):
    for j in range(column):
        count = column * i + j
        maxvalue = y_pred[:, count].max()
        ax[i,j].scatter(y_pred[:, count], y_test[:,count], c="r", s=5)
        ax[i,j].plot([0,maxvalue], [0,maxvalue], "--", c="black")
        ax[i,j].set_xlabel("推定した値", fontname='MS Gothic')
        ax[i,j].set_ylabel("実際の値", fontname='MS Gothic')
        ax[i,j].set_xlim(0, maxvalue)
        ax[i,j].set_ylim(0, maxvalue)
        ax[i,j].grid()
        ax[i,j].legend([legend[count] + f" 平均誤差{error.mean(axis=0)[count]:.2f}%"], prop={"family":"MS Gothic"})
         
fig.tight_layout()
plt.show()

ユニット数やエポック、層数を変えてもあんまり変わらなかった。これくらいがこの方法の限度かな。

今回はここまで。次回はCNN(畳み込みニューラルネットワーク)の予定(続く)。

« 高周波エンジニアのためのAI・機械学習入門(1) 準備としてPythonとscikit-rfを使って学習データとして大量のLCバンドパスフィルタ(BPF)のSパラメータデータとその回路素子の値をモンテカルロシミュレーションで作る。 | トップページ | 高周波・RFニュース 2024年8月7日 ロームと東京農工大のテラヘルツメタレンズ、5G Americasのニューラルホストについての新しいホワイトペーパー、Samsungが薄型LPDDR5X量産、Intel 18Aの進捗、Huaweiの5.5G、Siversのフォトニクス部門がbyNordicと統合など »

パソコン・インターネット」カテゴリの記事

学問・資格」カテゴリの記事

日記・コラム・つぶやき」カテゴリの記事

コメント

コメントを書く

(ウェブ上には掲載しません)

« 高周波エンジニアのためのAI・機械学習入門(1) 準備としてPythonとscikit-rfを使って学習データとして大量のLCバンドパスフィルタ(BPF)のSパラメータデータとその回路素子の値をモンテカルロシミュレーションで作る。 | トップページ | 高周波・RFニュース 2024年8月7日 ロームと東京農工大のテラヘルツメタレンズ、5G Americasのニューラルホストについての新しいホワイトペーパー、Samsungが薄型LPDDR5X量産、Intel 18Aの進捗、Huaweiの5.5G、Siversのフォトニクス部門がbyNordicと統合など »

最近の記事

2025年2月
            1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28  

最近のコメント

無料ブログはココログ
フォト