与えられた点をすべて通るような曲線を考えるのが補間問題（interpolation）であるのに対して，与えられた点の近くを通り，点列の状況を反映するような曲線を考えると近似問題（approximation）となります．
前者には多項式を用いるのが最も一般的で，ラグランジュ補間や微係数を補間できるエルミート補間などがあります．一方，後者では点列データが測定値など不確かさが含まれているような場合，観測値と推定値の偏差の２乗和が最小となる最小２乗法や余弦関数の多項式からなるチェビシェフ近似などがあります．折れ線を遠くから引いて眺めると滑らか曲線に見えるのと同様です．
今回のコラムでは，ｎ組の２次元データ（ｘi ，ｙi ）が与えられていて，ｘ側の誤差が無視できる場合において，線形関数をあてはめる方法＜線形最小２乗法＞について述べることにします．
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
【１】線形モデルのあてはめ
モデル式が複数個の未知パラメータａj （ｊ＝１〜ｍ）に関して線形結合
ｙ＝ｆ（ｘ）＝ａ1Φ1（ｘ）＋ａ2Φ2（ｘ）＋・・・＋ａmΦm（ｘ）
で表わされるとき，線形モデルといいます．線形モデルをもっと直感的に定義するならば，既知のデータｘを固定し，関数中に含まれるすべての未知のパラメータ（ａ1，ａ2，・・・，ａm）を同時にｎ倍したとき，ｙの値もｎ倍になるならばｙはパラメータについて線形，ｙの値がｎ倍にならなければ非線形であると理解することもできます．
線形モデルではΦj（ｘ）＝ｘ^j-1，すなわちｙがｘのべき乗の項の和（べき級数展開）として表わされる高次回帰モデルがよく取り扱われますが，線形最小２乗法は多項式以外の場合にも拡張して適用することができます．直線や多項式あるいは有限三角級数などが線形モデルの代表です．Φj（ｘ）はｘ^2とかｓｉｎｘといったｘの関数であればなんでもよいのですが，未知パラメータが含まれていてはいけません．
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
【２】多項式回帰
この節では，データに曲線をあてはめる方法の１つとして，多項式回帰を紹介します．多項式は連続関数のうちで最も基本的で，多くのよい性質をもっています．任意の関数は性質がよくわかっている関数で近似することによってその性質を詳しく調べることができるようになりますから，一般的な関数の値を計算するにはそれを多項式で近似して計算するのが常套手段です．
多項式回帰モデルとは，一次回帰モデルを高次回帰へ拡張させたものと考えることができ，一般化線形モデルにおいて，φ1（ｘ）＝１，φ2（ｘ）＝ｘ，φ3（ｘ）＝ｘ^2，・・・，φm（ｘ）＝ｘ^m-1とおく，すなわち，
ｙ＝ａ1＋ａ2ｘ＋ａ3ｘ^2＋・・・＋ａmｘ^m-1
で表わされるもので，ａm≠０のとき，ｍ−１次であるといいます．多項式回帰モデルは，最も単純な曲線のあてはめ問題であり，ｍ−１次の多項式回帰モデルの場合，ｍ個の未定係数ａ1〜ａmを決める必要があります．
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
【３】直交関数のあてはめ
前節ではｙがｘのべき乗の項の和（べき級数展開）として表わされる場合の最小２乗近似を取り上げましたが，計算量は次数が大きくなると急激に増加するばかりでなく，この場合の正規方程式の左辺の係数行列は悪名高きヒルベルト行列となるため，次数が大きくなると性質が急に悪くなり数値的に求めにくくなります（例えば，次数＞１０）．これを避けるには，φk（ｘ）に直交多項式（積和の形が０になる式，Σφi（ｘ）φj（ｘ）＝０なる性質をもっている関数）を与えてやります．
直交関数列φk（ｘ）としては，三角関数やルジャンドル多項式などの直交関数がよく使われます．直交関数では正規方程式の左辺の係数行列［Ｘ^TＷＸ］の非対角要素はすべて０になり，解を簡単に求めることができるという計算上の利点があります．
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
［１］ルジャンドル直交多項式のあてはめ
ルジャンドルの直交多項式は水素原子の周りを回る電子の角運動量を表わす波動方程式として登場したもので，球対称性をもつ体系について偏微分方程式を解く際には必ずというほど登場する基本的な直交多項式です．そのため，三角関数が円関数と呼ばれるのに対し，ルジャンドルの多項式は球関数とも呼ばれます．
放射性元素からは放射線があらゆる方向に等確率で放出されますが，ある特殊な条件ないしは環境のもとでは方向によって出る確率が違ってきます．これを異方性と称し，異方性を調べる実験を角度相関あるいは角度分布の測定などと呼びます．原子核物理の分野では，放射線が放出される方向の異方性を測ることは重要な意味をもっていて，放射線の角度相関のときにはルジャンドルの球関数で展開されますから，
ｆ（θ）＝Σａi φi （ｃｏｓθ）
のような関数をあわせる習慣になっています．
簡単に解説すると，母関数（１−２ｘｔ＋ｔ^2）^-1/2をｔのべき級数に展開したときのｔj の係数がルジャンドル多項式であり，
（１−２ｘｔ＋ｔ^2）^-1/2＝Σφj（ｘ）ｔj
ですから，
φ0（ｘ）＝１，
φ1（ｘ）＝ｘ，
φ2（ｘ）＝（３ｘ^2−１）／２，
φ3（ｘ）＝（５ｘ^3−３ｘ）／２，
φ4（ｘ）＝（３５ｘ^4−３０ｘ^2＋３）／８，
・・・・・・・・・・・・・・・・・・・・・・・・，
φn（ｘ）＝１／（２^n・ｎ！）ｄ^n／ｄｘ^n（ｘ^2−１）^n
で表わされます（ロドリーグ（Rodrigues）の公式）．ここで，φn（ｘ）はｘの２ｎ次の多項式をｎ回微分しますからｘのｎ次式になり，ｎ次のルジャンドル多項式と呼ばれます．
ルジャンドル多項式は，
φmφn ＝０ （ｍ≠ｎ：直交性）
（ｎ＋１）φn+1−（２ｎ＋１）ｘφn＋ｎφn-1＝０ （漸化式）
なる性質をもち，これらはφ0およびφ1から，漸化式
φn+1＝（２ｎ＋１）／（ｎ＋１）ｘφn−ｎ／（ｎ＋１）φn-1
を使って順に作っていくことができます．
ルジャンドルの多項式は区間［−１，１］で定義されるものですが，ｘについての区間［ａ，ｂ］で与えられる関数は，変数変換ｘ＝（ｂ＋ａ）／２＋（ｂ−ａ）／２ｔによって，ｔについての区間［−１，１］に容易に変換することができます．ルジャンドルの多項式は角運動量の量子化に用いられるなど，量子力学で非常に重要な役割を演じています．直交多項式系として最も代表的なものはルジャンドルの多項式の他にも，チェビシェフの多項式，ラゲールの多項式，エルミートの多項式があげられます．これらの方法の解説は割愛し，直交解法に関する良書に譲ることにします．
直交多項式のあてはめでは，以下のような利点があり，精度・速度ともに計算上の利点は大きいと考えられます．
ａ）回帰方程式の次数が高い場合でも，高精度の計算が可能である．
ｂ）高次の次数のものを追加して求める場合にはじめから解き直す必要はなく，付け加える直交多項式の係数だけを計算すればよい．すなわち，ｙ＝ａ0＋ａ1ｘ＋ａ2ｘ^2＋・・・のような最小２乗法では各項が直交していないので，例えば，２次式のときのａ1と３次式のときのａ1は異なり，次数を変えるつど新たに計算し直さなければならないのだが，直交多項式ｙ＝ａ0＋ａ1φ1＋ａ2φ2＋・・・では高次の項を追加してもその項だけ計算すればよく，ａ1は何次までとっても変わらない．
ｃ）係数ａiはｉ次式的なトレンドを表し，それぞれに数学的な意味付けが可能になってくる．たとえば，ａ1は中央値，ａ2はばらつき，ａ3は歪度，ａ4は尖度に対応する係数であり，高次成分には数学的な意味づけが少ない．
ｄ）次数を何次までとれば十分であるか，換言すれば何次以降の回帰係数は０とみなせるかという検定が可能になる．
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
［２］三角級数のあてはめ（フーリエ解析・調和解析）
フーリエ解析と呼ばれる関数展開は，１９世紀初頭，フランスの数学者・物理学者フーリエが熱伝導に関する著作の中で，任意の周期関数ｙ＝ｆ（ｘ）がサインとコサインの項の和，すなわち，単振動（調和振動ともいう）の和に分解されることを証明したことに始まります．
ｆ（ｘ）が周期２πをもつ周期関数であるならば，
ｙ＝ｆ（ｘ）＝ａ0＋ａ1ｃｏｓｘ＋ｂ1ｓｉｎｘ＋ａ2ｃｏｓ２ｘ＋ｂ2ｓｉｎ２ｘ＋・・・＋ａkｃｏｓｋｘ＋ｂkｓｉｎｋｘ＋・・・
と展開することができます．このような形をした関数を三角多項式といいます．この式は，もとの関数ｆ（ｘ）が基本波成分ａ1ｃｏｓｘ＋ｂ1ｓｉｎｘとその高調波成分とを合成したものとして表わせることを意味し，ａj，ｂjはその成分の寄与率を示しています．寄与率は別の言い方をすれば各成分の含有率であり，重みといってもよいでしょう．
また，サイン波成分を適当な角度だけずらすとコサイン波になるのではサイン波成分とコサイン波成分との分離はあまり絶対的な意味をもちません．したがって，この式は，次式のようにも書き換えることができます．
ｙ＝ｃ0＋ｃ1ｓｉｎ（ｘ＋ｄ1）＋ｃ2ｓｉｎ（２ｘ＋ｄ2）＋・・・＋ｃkｓｉｎ（ｋｘ＋ｄk）＋・・・
さらに，曲線が奇関数であれば正弦項だけ，偶関数であれば余弦項だけの和となって，もっと簡単な式になります．
ｆ（ｘ）が滑らかであれば，比較的少ない項でこの級数を打ち切っても，それはよくｆ（ｘ）を近似しますから，有限個の三角級数により関数近似すること（有限三角級数展開）が可能です．
ｙ＝ａ0＋ａ1ｃｏｓｘ＋ｂ1ｓｉｎｘ＋ａ2ｃｏｓ２ｘ＋ｂ2ｓｉｎ２ｘ＋・・・＋ａkｃｏｓｋｘ＋ｂkｓｉｎｋｘ
すなわち，フーリエ解析ではあまり短い周期をもつ成分は無視しても構いません．なぜかというと短い周期をもつ成分を無視して元の図形を再現するとその周期に相当した微細な構造が失われるだけで，無視してしまっても大して悪影響はないからです．また，周期関数ｆ（ｘ）の周期は２πですが，周期がＴの関数はω＝２π／Ｔ，ｘ＝ωｔの変換によって新しい変数ｔを考えれば，ｔについての周期２πをもつ関数に変換されますから，上式の形で一般化して論ずることが可能になります．
フーリエ変換は，鉄の輪を熱したときの温度分布を解析するなど熱伝導の考察から誕生しましたが，それが今日ではコンピュータと結びついて画像処理などの技術に利用されています．弦の振動や波を三角関数の級数で解くならまだしもわかりますが，熱伝導を三角級数で解くという着想は奇妙奇天烈に感じられます．フーリエ級数への展開はテイラー級数への展開よりもはるかに強力な方法であり，滑らかでない関数もこれによって表現可能です．フーリエは，べき級数の方法によって関数を取り扱うよりも三角級数による任意の関数表現のほうが正規直交基底の性質を活かせると考えたのでしょう．そして，これが原動力となって，現代解析学が生まれたのです．
なお，フーリエ級数は周期関数にしか適用できませんが，非周期関数にも適用できるように，非周期関数を周期が∞の周期関数とみなしてフーリエ級数を拡張したものがフーリエ変換（ＦＴ）です．また，高速フーリエ変換（ＦＦＴ）は位相補正によって未知の係数を効率よく計算する技法であり，１９６５年にCooleyとTukey により大量のデータを速度を重視して解析するテクニックとして開発されました．ＦＦＴは波動や振動現象の解明をはじめ多くの応用分野をもっています．
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝