Visual C# (C_sharp)の数値計算ライブラリ MathNET Numericsを使う(7) OptimizationのLevenberg-Marquardt法（LevenbergMarquardtMinimizer）で非線形最小二乗法（回帰）でNISTの例題Rat43を計算する。

C#でMath.NET Numericsを使うシリーズ7回目。今回は非線形回帰（最小二乗法）で有名なLevenberg-Marquardt法だ。
どう使うかは公式サイト見てもよくわからん、、、のでGitHubを直接見に行って、Testしているところを見るのがいい。

https://github.com/mathnet/mathnet-numerics/blob/master/src/Numerics.Tests/OptimizationTests/NonLinearCurveFittingTests.cs

なるほど。ではここにも出ているNISTの非線形回帰のサンプル集、

https://www.itl.nist.gov/div898/strd/nls/nls_main.shtml

からRat43をやってみよう。Math.NET Numericsでは微分（Gradiant）は使わないでやっているがこちらは使ってみる。

結果はこちら。ちゃんとNISTの値と整合が取れた値が出ている。

テキストでもコードを書いておく。ただしグラフ部分以外。

using MathNet.Numerics;
using MathNet.Numerics.IntegralTransforms;
using MathNet.Numerics.LinearAlgebra;
using MathNet.Numerics.LinearAlgebra.Double;
using MathNet.Numerics.Optimization;
using MathNet.Numerics.Optimization.TrustRegion;
using Series = System.Windows.Forms.DataVisualization.Charting.Series;
            var obj = ObjectiveFunction.NonlinearModel(OptimizeFunction, Gradient, Xdata, Ydata);
            var solver = new LevenbergMarquardtMinimizer() ;
            var result = solver.FindMinimum(obj, InitialValue1);
            for (int i = 0; i < Xdata.Count; i++)
            {
                series1.Points.AddXY(Xdata[i], Ydata[i]);
            }
            var x = Vector.Build.DenseOfArray(Generate.LinearSpaced(100, 1.0, 15.0));
            var y = OptimizeFunction(result.MinimizingPoint, x);
            for (int i = 0; i < x.Count; i++)
            {
                series2.Points.AddXY(x[i], y[i]);
            }

            for (int i =0; i < result.MinimizingPoint.Count; i++)
            {
                Console.WriteLine($"p[{i}] = {result.MinimizingPoint[i]}"); 
            }

        }
        private Vector Xdata = Vector.Build.DenseOfArray(new double[] {
            1.00,   2.00,   3.00,   4.00,   5.00,   6.00,   7.00,   8.00,   9.00,   10.00,
            11.00,  12.00,  13.00,  14.00,  15.00
        });
        private Vector Ydata = Vector.Build.DenseOfArray(new double[] {
             16.08, 33.83,  65.80,  97.20,  191.55, 326.20, 386.87, 520.53, 590.03, 651.92,
            724.93, 699.56, 689.96, 637.56, 717.41
        });
        private Vector InitialValue1 = Vector.Build.DenseOfArray(new double[] { 100, 10, 1, 1 });
        private Vector OptimizeFunction(Vector p, Vector x)
        {
            var y = Vector.Build.Dense(x.Count);
            for (int i = 0; i < x.Count; i++)
            {
                y[i] = p[0] / Math.Pow(1.0 + Math.Exp(p[1] - p[2] * x[i]), 1.0 / p[3]);
            }
            return y;
        }
        private Matrix Gradient(Vector p, Vector x)
        {
            var prime = Matrix.Build.Dense(x.Count, p.Count);
            for (int i = 0; i < x.Count; i++)
            {
                prime[i, 0] = 1.0 / Math.Pow(1.0 + Math.Exp(p[1] - p[2] * x[i]), 1.0 / p[3]);
                prime[i, 1] = - p[0]* Math.Exp(p[1] - p[2] * x[i]) / 
                    (p[3]*Math.Pow(1.0 + Math.Exp(p[1] - p[2] * x[i]), 1.0 / p[3]+1.0));
                prime[i, 2] = p[0] * x[i] * Math.Exp(p[1] - p[2] * x[i]) /
                    (p[3]  * Math.Pow(1.0 + Math.Exp(p[1] - p[2] * x[i]), 1.0 / p[3] + 1.0));
                prime[i, 3]= Math.Log(1.0 + Math.Exp(p[1] - p[2] * x[i])) * p[0] / 
                    (p[3] *p[3]* Math.Pow(1.0 + Math.Exp(p[1] - p[2] * x[i]), 1.0 / p[3] ));
            }
            return prime;
        }

過去のもの：

Visual C# (C_sharp)の数学ライブラリ Math.NET Numericsを使う(1) 複素行列を定義して一次方程式や逆行列、行列式などを計算する。

Visual C# (C_sharp)の数学ライブラリ Math.NET Numericsを使う(2) 補間を行う（Interpolate) リニア、３次スプライン、有理関数などいろいろ使える。

Visual C# (C_sharp)の数学ライブラリ Math.NET Numericsを使う(3) 高速フーリエ変換（FFT）を実行する。FourierOptionsにMatlabとNumerical Recipesがあるのが意外。

Visual C# (C_sharp)の数学ライブラリ Math.NET Numericsを使う(4) 多項式フィッティングをして、Array.ConvertAllで一括でフィッティングデータを得る。

Visual C# (C_sharp)の数学ライブラリ Math.NET Numericsを使う(5) 常微分方程式の数値解法、4段4次のルンゲクッタ法がRungeKutta.FourthOrderの一文でできる。ローレンツ方程式を例としてやってみる

Visual C# (C_sharp)の数値計算ライブラリ MathNET Numericsを使う(6)　OptimizationのNelder-Mead SimplexでRosenbrock関数（５パラメータ）を最小になる点を探す。