高周波エンジニアのためのAI・機械学習入門（GPU編46） PythonのStable-Baselines-3、sb3_contribを使ってLCバンドパスフィルタの素子値を強化学習で最適化する。今回は TQC(Truncated Quantile Critics)を試す。

PPO, SAC, TD3と来てCodexに他に何かよさそうなものはある？と聞くとTQCとCrossQを勧められたので実装してもらった。今回はTQC.

コードのTQC部分のみはこちら。

    if algorithm == "tqc":

        from sb3_contrib import TQC

        return TQC(

            "MlpPolicy",

            env,

            verbose=verbose,

            seed=seed,

            learning_rate=3e-4,

            buffer_size=100_000,

            learning_starts=500,

            batch_size=256,

            gamma=0.95,

            device="cpu",

        )

学習前：

学習後：

これは細かい数字見るとちょっといまいち。CrossQやってみよう。