高周波エンジニアのためのAI・機械学習入門（GPU編47） PythonのStable-Baselines-3、sb3_contribを使ってLCバンドパスフィルタの素子値を強化学習で最適化する。今回は CrossQを試す。

フィルタの強化学習編もこれで最後かな。今回はCrossQ。

コードはこちら。

    if algorithm == "crossq":

        from sb3_contrib import CrossQ

        return CrossQ(

            "MlpPolicy",

            env,

            verbose=verbose,

            seed=seed,

            learning_rate=1e-3,

            buffer_size=100_000,

            learning_starts=500,

            batch_size=256,

            gamma=0.95,

            # 状態・行動とも小さいため、公式既定値より小さいネットで十分。

            policy_kwargs={"net_arch": [256, 256]},

            device="cpu",

        )

学習前：

学習後：

細かい数値を見るとこれが一番よさげ。