線形回帰

英

linear regression

関

直線回帰

参考

http://www.teradata-j.com/library/ma/ins_1309.html

Wikipedia preview

出典(authority):フリー百科事典『ウィキペディア（Wikipedia）』「2015/07/09 13:50:19」(JST)

wiki ja

[Wiki ja表示]

線形回帰（せんけいかいき、linear regression）とは、統計学における回帰分析の一種である。

1つ従属変数と1つの独立変数がある線形回帰の例。

基本モデル

従属変数 Y と独立変数 X_i, i = 1, ..., p およびランダム項 e の関係をモデル化する。 モデルは下式により表される。

ここで は切片（「定数」項）、 は各々の独立変数の係数であり、 はこの線形回帰で推定される母数の個数である。線形回帰は非線型回帰と対比される。

この方法が「線形」回帰と呼ばれるのは、応答（従属変数 ）が独立変数に対して線形関数（一次関数）であると仮定されるからである。しばしば誤って考えられているのは、この方法が「線形回帰」と呼ばれているのは のグラフが直線であったり、 が X 変数の線形関数であるからである、というものである。しかし、モデルがたとえば、

であれば、問題は「線形回帰」の問題である。つまり、x および x² に関し線形であるので、 と だけとのグラフが直線上になくても線形回帰されたのである。

歴史（未訳）

記法と命名慣習

以下の記法を用いる。

• 変数のベクトルは太い矢印をベクトルの上に書いて表す。例：
• 行列は太字（ボールド）体で表す。例：X
• 母数のベクトルは太字の ß を下付きをつけずに表す。

行列 X と ß 列ベクトルの積は、Xß で表す。 従属変数 Y は回帰において「応答変数」と呼ばれる。ベクトル形式で表した独立変数は「説明変数」または「回帰変数」と呼ばれる。説明変数は「外生変数」（がいせいへんすう、exogenous variable）、「入力変数」（にゅうりょくへんすう、input variable）、「予測変数」（よそくへんすう、predictor variable）とよばれる。

ハット (hat) 記号「 」を変数の上につけると、変数や母数の推定量を表す。たとえば、 は母数ベクトル ß の推定量を表す。

線形回帰モデル

線形回帰モデルはベクトル・行列記法では下式のように表せる。

e 項はモデルの「誤差項」（誤用であるが標準的）である。本項は測定誤差であるか否かに係らず、慣習的に「誤差」と呼ばれる。本項は とは独立である。

単回帰（たんかいき、simple linear regression）の場合、説明変数は一つだけであり母数は２つである。上式は以下のようになる。

同等な定式化に、線形回帰を条件付き期待値（じょうけんつききたいち、conditional expectation）のモデルとして陽に表すものがある。

ここで、所与の x に対する y の条件付き分布は誤差項の分布に一致する。

線形回帰の種類

最小二乗モデル

最小二乗分析はカール・フリードリッヒ・ガウスが1820年代に発展させた。本方法は以下のガウス―マルコフ仮定を用いる。

• ランダム誤差 e_i　の期待値はゼロである。
• ランダム誤差 e_i　は相互に無相関である。（確率論的独立性の仮定よりは弱い。）
• ランダム誤差 e_i　は等分散、すなわちみな等しい分散をもつ（ガウス＝マルコフの定理も参照）。

以上の仮定は、最小二乗法がある意味で最適な母数の推定量を与えることを意味する。

p 個の係数と回帰切片　ß₀線形回帰および　n データ点（標本数）を用い、 　は以下のベクトルと行列を、関連する標準誤差とともに与える。

または上記のベクトル・行列記法を用いて、

各データ点は , である。 n = p の場合、母数の標準誤差は算出できない。n が p より小さい場合、母数は算出できない。

母数の推定量は、

ガウス＝マルコフの定理による仮定を用いると、結果を分析し、最小二乗法を用いて決定したモデルが有効かどうかを決定できる。 自由度は　n − p − 1　で与えられる。

残差は、観測値とモデルによる予測値の差を表し、回帰結果を分析するときに必要となる。以下のように決定される。

モデルの標準偏差 は以下のように決定される。

${\hat \sigma = \sqrt{ \frac {{\hat{\vec\varepsilon}}{\;}^T \hat{\vec\varepsilon}} {n-p-1} } = \sqrt {\frac{ { {\vec{y} }{\,}^T \vec{y} - {\hat{\vec\beta}}{\,}^T \mathbf{X}^T \vec{y} } } {{n - p - 1} } } }$

誤差の分散は以下のカイ二乗分布に従う。

母数の 信頼区間である は以下のように算出される。

${\widehat \beta_i \pm t_{\frac{\alpha }{2},n - p - 1} \hat \sigma \sqrt {(\mathbf{X}^T \mathbf{X})_{ii}^{ - 1} } }$

ここで t はt分布でその自由度は であり は行列の第　 行および列の値を表す。

予測（補間または補外）応答の信頼区間は、値 に対して下式で表される。

${ \vec {x_0} \widehat\beta \pm t_{\frac{\alpha }{2},n - p - 1} \hat \sigma \sqrt { \vec {x_0} (\mathbf{X}^T \mathbf{ X})_{}^{ - 1} \vec {x_0}^T } }$

ここで 　である。

データに対する応答の信頼区間の予測は、 以下のように与えられる。

${ \vec {x_0} \widehat\beta \pm t_{\frac{\alpha }{2},n - p - 1} \hat \sigma \sqrt {1 + \vec {x_0} (\mathbf{X}^T \mathbf{X})_{}^{ - 1} \vec {x_0}^T } }$

回帰の二乗和 SSR は下式で与えられる。

${\mathit{SSR} = \sum {\left( {\hat{y_i} - \bar y} \right)^2 } = {\hat\beta}^T \mathbf{X}^T \vec y - \frac{1}{n}\left( { {\vec y}^T \vec u {\vec u}^T \vec y} \right)}$

ここで であり は n × 1 の1ベクトル（各要素が1）である。 項 は 　と等価である。

誤差の二乗和 ESS は下式で与えられる。

${\mathit{ESS} = \sum {\left( {y_i - \hat{y_i} } \right)^2 } = {\vec y}^T \vec y - {\hat\beta}^T \mathbf{X}^T \vec y}.$

二乗和の全和 TSS' は下式で与えられる。

${\mathit{TSS} = \sum {\left( {y_i - \bar y} \right)^2 } = \vec y^T \vec y - \frac{1}{n}\left( { {\vec y}^T \vec u {\vec u}^T \vec y} \right) = \mathit{SSR}+ \mathit{ESS}}.$

決定係数, R² は下式で与えられる。

${R^2 = \frac{\mathit{SSR}}{{\mathit{TSS}}} = 1 - \frac{\mathit{ESS}}{\mathit{TSS}}}.$

最小二乗モデルの評価

線形回帰の応用

UpToDate Contents

全文を閲覧するには購読必要です。 To read the full text you will need to subscribe.

• 1. 線状IgA水疱性皮膚症 linear iga bullous dermatosis
• 2. 汗孔角化症 porokeratosis
• 3. 色素沈着過剰を有する患者へのアプローチ approach to the patient with hyperpigmentation disorders
• 4. 大腸癌の病理および予後決定因子 pathology and prognostic determinants of colorectal cancer
• 5. 肺機能検査の基準値 reference values for pulmonary function testing

Japanese Journal

• CE1-5 連続・離散変換 : 非線形回帰と数量化(一般セッション 数学・統計(1))

• 馬場 康維,馬場 恵美子
• 日本行動計量学会大会発表論文抄録集 42, 70-71, 2014-09-02
• NAID 110009845172

• パターン認識におけるAdaBoostの予測誤り率改善に関する一考察

• 増井 秀之,都築 遼馬,宮 希望 [他],松嶋 敏泰
• 情報処理学会研究報告. CVIM, [コンピュータビジョンとイメージメディア] 2014-CVIM-193(1), 1-6, 2014-08-25
• … 線形回帰の分野では様々な正則化法や変数選択法が研究されている.変数選択法のうちの変数増加法の 1 つとして Stagewise がある.Stagewise は各反復において変数を 1 つ選択する.このとき,それに対応するパラメータを誤差関数が最小になるように増加させるのではなく,わずかにパラメータが増加するよう更新を行うアルゴリズムで,予測誤り率を改善することが知られている.AdaBoost のモデルを線形回帰 …
• NAID 110009815598

• ハッシュ関数を用いたガウス過程回帰の高速化(ディジタル信号処理)

• 岡留 有哉,中村 泰,石黒 浩
• 電子情報通信学会論文誌. A, 基礎・境界 J97-A(3), 131-139, 2014-03-01
• … ガウス過程回帰(GPR)は非線形回帰を容易に扱うことのできる手法であるが,サンプルサイズの増加に伴い計算コストが増大する.このため,データセットを分解し,局所的に計算したGPRの推定結果を用いるLocal GPRなどの高速化手法が提案されている.しかし,Local GPRではローカルモデルを統合する過程が,単なる重み付き和となっており,分割前の確率モデルとは異なるモデルとなっている.本論文ではLocality-Sensitive HashingとProduct of …
• NAID 110009798914

Related Links

• 線形回帰とは - goo Wikipedia (ウィキペディア)

ここで、所与の x に対する y の条件付き分布は誤差項の分布に一致する。 線形回帰の種類 [編集] 最小二乗モデル [編集] 最小二乗分析はカール・フリードリッヒ・ガウスが1820年代に発展させた。本方法は以下のガウス ...

• 線形回帰分析 - The University of North Carolina at Chapel Hill

線形回帰分析 久留米大学バイオ統計センター 第1回公開セミナー 川口淳 kawaguchi atsushi@kurume-u.ac.jp 2005 年7 月2 日 線形回帰 ... アウトライン 2.1 線形回帰モデル 2.2 傾きと切片に関する推測 2.2.3 回帰直線全体に関する推測 2.3 ...

Related Pictures

---

★リンクテーブル★

リンク元	「linear regression」
拡張検索	「線形回帰モデル」「多重線形回帰分析」
関連記事	「回帰」「線形」

「linear regression」

　　[★]

• n.

• 直線回帰、線形回帰

[show details]

直線回帰 : 約 13,900 件
線形回帰 : 約 59,300 件

関

linear model

「線形回帰モデル」

　　[★]

英

linear model

関

直線回帰モデル、直線モデル

「多重線形回帰分析」

　　[★]

英

multiple linear regression analysis

関

重回帰分析

「回帰」

　　[★]

英

regression、recurrence、recurrent

関

再発、再発性、退行、退縮、反回、反回性、反復性、後退

「線形」

　　[★]

英

linear

関

直鎖状、比例、リニア、直線的