高周波エンジニアのためのAI・機械学習入門(GPU編37) 大きなノイズが乗ったフィルタのSパラメータの値からノイズ除去するオートエンコーダ(deep autoencoder, PythonとKeras利用)を試してみる。
以前、オートエンコーダは不良品検知のために試してみた。今回はノイズが乗ったフィルタのSパラメータからノイズ除去してみよう。
フィルタのデータはL,Cの値を予測するのにつかったもの。そこに大きいノイズを加える。現実的でないほど大きなものを付け加えた。
これで除去できるか、まずはディープ・オートエンコーダでやってみる。
コードはこんな感じで。
import os
os.environ["KERAS_BACKEND"] = "jax"
import keras
import jax
from jax import config
config.update("jax_enable_x64", False)
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
plt.rcParams['font.family'] = 'Noto Sans CJK JP'
data_label = np.load("data_label.npz")
data = data_label["data"]
label = data_label["label"]
rng = np.random.default_rng(42)
sigma = 1.0e-1
noise = rng.normal(0.0, sigma, (10000, 200, 4))
noisy_data = data.copy()
noisy_data[:, :, 1:] += noise
x_train, x_test, y_train, y_test = train_test_split(noisy_data, data, test_size=0.3, random_state=0)
inputs = keras.Input(shape=(200, 5))
x = keras.layers.Flatten()(inputs)
encoded = keras.layers.Dense(256, activation='relu')(x)
encoded = keras.layers.Dense(128, activation='relu')(encoded)
encoded = keras.layers.Dense(64, activation='relu')(encoded)
encoded = keras.layers.Dense(32, activation='relu')(encoded)
decoded = keras.layers.Dense(64, activation='relu')(encoded)
decoded = keras.layers.Dense(128, activation='relu')(decoded)
decoded = keras.layers.Dense(256, activation='relu')(decoded)
decoded = keras.layers.Dense(200 * 5, activation='linear')(decoded)
outputs = keras.layers.Reshape((200, 5))(decoded)
model = keras.Model(inputs=inputs, outputs=outputs)
model.compile(loss = 'mean_squared_error' ,optimizer=keras.optimizers.Adam())
# 学習
epochs = 1000
keras.utils.set_random_seed(1)
history = model.fit(
x_train, y_train,
batch_size=128,
epochs=epochs,
validation_split=0.15,
)
y_pred = model.predict(x_test)
S11test = 10*np.log10(y_test[:, : ,1]**2 + y_test[:, :, 2]**2)
S21test = 10*np.log10(y_test[:, : ,3]**2 + y_test[:, :, 4]**2)
S11pred = 10*np.log10(y_pred[:, : ,1]**2 + y_pred[:, :, 2]**2)
S21pred = 10*np.log10(y_pred[:, : ,3]**2 + y_pred[:, :, 4]**2)
S11input = 10*np.log10(x_test[:, : ,1]**2 + x_test[:, :, 2]**2)
S21input = 10*np.log10(x_test[:, : ,3]**2 + x_test[:, :, 4]**2)
threshold = 3
# 1. 最大値とインデックス
max_vals = np.max(S21test, axis=1) # shape: (サンプル数,)
max_indices = np.argmax(S21test, axis=1)
# 2. 下限値
lower_bounds = max_vals - threshold
# 3. 条件マスク
mask = S21test >= lower_bounds[:, None]
# 4. インデックス範囲
indices = np.arange(S21test.shape[1])
masked_indices = np.where(mask, indices, np.nan)
min_indices = np.nanmin(masked_indices, axis=1).astype(int)
max_indices = np.nanmax(masked_indices, axis=1).astype(int)
# 5. 切り出し(可変長)
pred_error = [np.mean(np.abs(S21test[i, min_indices[i]:max_indices[i]+1] - S21pred[i, min_indices[i]:max_indices[i]+1]) )
for i in range(S21test.shape[0])]
original_error = [np.mean(np.abs(S21test[i, min_indices[i]:max_indices[i]+1] - S21input[i, min_indices[i]:max_indices[i]+1]) )
for i in range(S21test.shape[0])]
plt.hist(pred_error, bins = 100, color="red", alpha=0.5, range=(0,5), label="予測値の誤差")
plt.hist(original_error, bins = 100, color="blue", alpha=0.5, range=(0,5), label = "ノイズが乗ったもともとの誤差")
plt.xlabel("通過域(最大値から3dB落ち)のS21平均誤差[dB]")
plt.ylabel("頻度")
plt.grid()
plt.legend()
plt.show()
print(f"average original error {np.mean(original_error)}dB, average predicted value error {np.mean(pred_error)}dB")
|
帯域内の平均誤差をヒストグラムにしたもの。なるほど改善している。
実際の波形。ぎざぎざがだいぶ改善されている。
とはいうもののもうちょっと改善欲しいので畳み込みオートエンコーダも試してみる。


























最近のコメント