عرض مصدر انحدار خطي

{{بطاقة عامة}}
[[ملف:Linear least squares example2.png|تصغير|في نموذج الانحدار الخطي يفترض أن الملاحظات، النقط <span style="color:red">'''الحمراء'''</span>، هي نتيجة لانحرافات عشوائية، موضحة بالفوارق <span style="color:green">'''الخضراء'''</span> عن الخط '''الأزرق،''' الذي ينمذج وفق دالة خطية المتغير التابع (y) بدلالة المتغير المستقل (x).|بديل=]]

'''الانحدار الخطي<ref>{{استشهاد بويكي بيانات|Q111421033|صفحة=81}}</ref>''' أو '''نموذج الانحدار الخطي''' أو '''النموذج الخطي''' في [[إحصاء|الإحصاء]]، هو [[نموذج إحصائي]] يستخدم في تفسير متغير <math>Y</math> عبر متغير آخر <math>X</math> (أو مجموعة من المتغيرات <math>X_1,X_2,...,X_p</math>) وفق [[دالة خطية]].

يسمى المتغير <math>Y</math> بالتابع والمتغيرات <math>X</math> بالمتغيرات المستقلة أو المفسرة، بمعنى أنها تفسر، إحصائيا، تغير المتغير التابع.<ref name=":0">{{استشهاد بويب
| مسار = http://fermin.perso.math.cnrs.fr/Files/Chap3.pdf
| عنوان = Régression linéaire Université Paris Ouest Nanterre
| تاريخ = 
| موقع = 
| ناشر = 
| تاريخ الوصول = 
| الأخير = 
| الأول = 
| مسار أرشيف = https://web.archive.org/web/20181222120031/http://fermin.perso.math.cnrs.fr/Files/Chap3.pdf | تاريخ أرشيف = 22 ديسمبر 2018 }}</ref>

== مفاهيم الانحدار والارتباط والسببية ==
{{مفصلة|ارتباط (إحصاء)|سببية (علم اجتماع)}}
الانحدار الخطي و<nowiki/>[[ارتباط (إحصاء)|تحليل الارتباط]]، رغم اشتراكهما في نفس القاعدة الإحصائية، إلا أنهما يختلفان على مستوى أدوار المتغيرات. إذا كان تحليل [[ارتباط (إحصاء)|الارتباط]] يتعامل مع المتغيرين <math>Y</math> و<math>X</math> على قدم المساواة، أي بصورة [[تناظر|تماثلية]]، فتحليل الانحدار يجب أن يعتمد على تقعيد نظري قبلي يؤسس لحد أدنى من التراتبية [[السببية]] بين المتغيرات.<ref name=":0" /> على سبيل المثال في النظرية الاقتصادية: تفسير ظاهرة الاستهلاك بدلالة الدخل (مع ثبات العوامل الأخرى) انطلاقا من أن استهلاك الفرد مرتبط بالدخل.<ref>{{استشهاد بدورية محكمة | عنوان=On the Investigation of Alternative Regressions by Principal Component Analysis | الأخير=Hawkins | الأول=Douglas M. | صحيفة=Journal of the Royal Statistical Society, Series C | المجلد=22 | سنة=1973 | صفحات=275–286 | العدد=3 | jstor=2346776}}</ref><ref>[http://www.ec.gc.ca/esee-eem/default.asp?lang=En&n=453D78FC-1 EEMP webpage]{{webarchive|url=https://web.archive.org/web/20110611114740/http://www.ec.gc.ca/esee-eem/default.asp?lang=En&n=453D78FC-1 |date=2011-06-11 }}</ref><ref>{{استشهاد بدورية محكمة | ssrn = 1406472 | عنوان=Least Squares Percentage Regression | مؤلف = Tofallis, C | صحيفة = Journal of Modern Applied Statistical Methods | المجلد=7 | سنة = 2009 | صفحات=526–534 | doi = 10.2139/ssrn.1406472 }}</ref> وهو ما يعطي للباحث شرعية لوضع علاقة بين المتغيرات الاقتصادية على شكل دالة: <math>Y=f(X)</math>، مع <math>Y</math> المتغير التابع ([[استهلاك|الاستهلاك]]) و <math>X</math> المتغير المستقل ([[دخل فردي|الدخل]]).

غالبا ما تكون الخبرة المعرفية في مجال الدراسة هي منطلق وضع النموذج، بأهداف استكشافية أو تأكيدية أو تحكيمية:

* '''استكشافية''': لاستكشاف وجاهة متغير ما في تفسير ظاهرة معينة (مثلا العمر كمفسر لارتفاع الضغط الدموي).<ref name=":0" />
* '''تأكيدية''': كما في حالة [[معادلة كلاوزيوس-كلابيرون|صيغة دوبري]] المؤكدة لخاصية ارتباط ضغط غاز الزئبق (<math>P</math>) مع درجة الحرارة (<math>T</math>): <math>P=\alpha_1 T^{\alpha_2}e^{\alpha_3/T}</math> والتي يمكن تأكيدها إحصائيا عبر نموذج انحدار خطي يطبق على التحويل اللوغاريتمي للمعادلة.<ref name=":1" />
* '''تحكيمية''': في سياق [[تعلم مراقب|التعلم المراقب]] حيث يمكن النموذج من الفصل والتحكيم بين مجموعة من المتغيرات المفسرة حسب قوتها التفسيرية.

== تاريخ ==
[[ملف:LinearRegressionWithGaltonsData02.png|تصغير|[[انحدار خطي بسيط]] مطبق على بيانات [[فرانسيس غالتون]].]]

* [[1755]]: [[روجر بوسكوفيتش|يوسيب بوسكوفيتش]] هو أول [[رياضيات]]ي يقوم بحساب معاملات نموذج انحدار خطي خلال أعماله في مجال [[جغرافيا|الجغرافيا]].
* [[1866]]: أول ظهور لمصطلح انحدار {{إنج|Regression}} في أعمال [[فرانسيس غالتون]]، حيث طبق نموذج [[انحدار خطي بسيط|الانحدار الخطي البسيط]] في نمذجة قامات الأطفال المولودين لآباء ذوي قامات غير اعتيادية (فارعة أو قصيرة الطول) مبينا بأن قامات الأطفال تؤول نحو المتوسط الحسابي لقامة [[مجتمع إحصائي|الساكنة]].<ref name=":1">{{استشهاد بويب
| مسار = http://certis.enpc.fr/~dalalyan/Download/TP_ENPC_4.pdf
| عنوان = RÉGRESSION LINÉAIRE Ecole des Ponts ParisTech
| تاريخ = 
| موقع = 
| ناشر = 
| تاريخ الوصول = 
| الأخير = 
| الأول = 
| مسار أرشيف = https://web.archive.org/web/20181008131517/http://certis.enpc.fr/~dalalyan/Download/TP_ENPC_4.pdf | تاريخ أرشيف = 8 أكتوبر 2018 }}</ref>

== التحليل الوصفي ==

=== أشكال الدالة ===

يمكن أن تأخذ الدالة أشكالا مختلفة قد تكون خطية، لوغارتمية، أو أسية... الخ، ويمكن تحويل أي نموذج إلى النموذج الخطي، سنركز على الانحدار الخطي البسيط في قياس العلاقة بين المتغيرات:

i=1,..,n
حيث أن هي معلمات النموذج وعنصر الخطأ العشوائي، تم إضافته مراعاة للصفة الاحتمالية للنموذج ويمثل الفرق بين القيم الفعلية والقيم النظرية، وبالتالي قد تكون قيمته موجبة أو سالبة وتشترط أن تكون القيمة المتوقعة تساوي [[صفر (توضيح)|صفر]].

== تقعيد نظري ==
يشار للعينة الإحصائية ب <math>\Omega</math> تضم <math>n</math> فردا إحصائيا ببياناتهم وفق صنفين من المتغيرات:

* <math>Y</math>: المتغير التابع.
* <math>X</math> (أو مجموعة متغيرات <math>X_j</math>، مع <math>j=1,...,p</math>): المتغيرات المستقلة أو المفسرة.

في حالة وجود متغير مستقل وحيد، نكون في حالة [[انحدار خطي بسيط|الانحدار الخطي البسيط]] وفي حالة [[انحدار خطي متعدد|الانحدار الخطي المتعدد]] إذا كانت <math>p\geq2</math>.

=== أشكال الكتابة ===
توجد ثلاثة أشكال لكتابة نماذج الانحدار الخطي: الكتابة العادية (أو القياسية) والكتابة المتجهية والكتابة المصفوفاتية.

==== الكتابة القياسية ====
لكل فرد إحصائي <math>i</math>، تكتب نمذجة القيمة المتحققة <math>y_i</math> بدلالة قيم المتغيرات المفسرة <math>x_{i,j}</math> والخطأ الإحصائي <math>\varepsilon_i</math>:

<math>y_i=\beta_0 + \beta_1 x_{i,1} +...+ \beta_p x_{i,p}+\varepsilon_i</math>

==== الكتابة المتجهية ====
يشار لمتجهة المعاملات <math>\beta=(\beta_0,\beta_1,...,\beta_p)</math> و<nowiki/>[[منقولة مصفوفة|لمنقولة]] متجهة القيم المتحققة <math>x_{i,j}</math> ب <math>x_i'=(1,x_{i,1},...,x_{i,p})</math> وتكتب النمذجة:

<math>y_i=x_i'\beta+\varepsilon_i</math>

==== الكتابة المصفوفاتية ====
أحيانا، تستعمل الكتابة المصفوفاتية للتعبير عن النموذج بشكل شامل، وأيضا لتسهيل البرهنة على الخصائص الاستدلالية المرتبطة بالنموذج:

<math>Y = X \beta + \varepsilon</math> بحيث:

<math>Y = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{pmatrix}, \quad
 X = \begin{pmatrix} x'_1 \\ x'_2 \\ \vdots \\ x'_n \end{pmatrix}
 = \begin{pmatrix} 1 & x_{11} & \cdots & x_{1p} \\
 1 & x_{21} & \cdots & x_{2p} \\
 \vdots &  \vdots &\ddots & \vdots \\
 1 & x_{n1} & \cdots & x_{np}
 \end{pmatrix}, \quad
 \beta = \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix}, \quad
 \varepsilon = \begin{pmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{pmatrix}.</math>

=== تقدير النموذج ===
'''تقدير النموذج يعني بالأساس تقدير القيم المقدرة للمعاملات <math>\beta</math>''' (والتي تعتبر [[معلمة إحصائية|معالم]] النموذج)، إضافة إلى '''التصديق الإحصائي''' على نجاعة النموذج وقابلية تطبيقه واستغلاله عمليا، خصوصا في توقع قيم مستقبلية (أو جديدة) ل <math>Y</math> بمعرفة قيم <math>X</math>. توجد أربع طرق لتقدير نموذج الانحدار الخطي:

* طريقة [[تقدير حسب القيمة العليا لدالة الإمكان|التقدير حسب القيمة العليا لدالة الإمكان]].
* طريقة التقدير حسب [[مربعات دنيا|طريقة المربعات الدنيا]].
* [[طريقة العزوم (إحصاء)|طريقة العزوم]].
* [[إحصاء بايزي|الطرق البايزية]].

أكثر الطرق استعمالا، وأكثرها نجاعة، هي [[مربعات دنيا|طريقة المربعات الدنيا]]: حسب [[مبرهنة غاوس-ماركوف|مبرهنة كاوس ماركوف]]، وفي حالة تحقق الفرضيات المنصوص عليها في المبرهنة، فمقدر المربعات الدنيا يكون '''أفضل مقدر خطي بدون تحيز''' (بالإنجليزية: Best Linear Unbiased Estimator) ويشار إليه اختصارا ب BLUE.

== طريقة المربعات الدنيا ==
قبل تطبيق [[مربعات دنيا|طريقة المربعات الدنيا]] لتقدير [[معلمة إحصائية|المعالم]] الإحصائية لنموذج الانحدار، يجب التأكد من تحقق مجموعة من [[فرضية|الفرضيات]]، وخصوصا فرضيات [[مبرهنة غاوس-ماركوف|مبرهنة غاوس ماركوف]] (المتعلقة بالخصائص الإحصائية لأخطاء النموذج الخطي الإحصائية). تنقسم الفرضيات إلى صنفين: '''فرضيات بنوية''' (Systemic) يجب التأكد منها <u>قبل تطبيق النموذج</u> و'''فرضيات تصادفية''' (Stochastic) يتم التأكد منها <u>بعد كل [[تكرار (رياضيات)|تكرار]]</u> لتطبيق النموذج إلى غاية بلوغ صيغة مستقرة وقابلة للتطبيق.

=== الفرضيات البنوية ===

* '''الفرضية <math>H_1</math>''': عدم وجود أخطاء إحصائية في ملاحظة <math>Y</math> و<math>X</math> (مفهوم الخطأ هنا يشمل الأخطاء القياسية والتحيزات التي يمكن أن تكون ناتجة عن أخطاء منهجية في الاستعيان مثلا).
* '''الفرضية <math>H_2</math>''': <math>Y</math> و<math>X</math> [[توزيع احتمالي طبيعي|موزعة طبيعيا]]، <math>Y\backsim \mathcal{N}(\mu_Y,\sigma_Y^2)</math> ولكل <math>X_j</math>، <math>X_j\backsim \mathcal{N}(\mu_{X_j},\sigma_{X_j}^2)</math>.
* '''الفرضية <math>H_3</math>''': وجود علاقة خطية بين <math>Y</math> و<math>X</math> (في حالة [[انحدار خطي بسيط|الانحدار الخطي البسيط]]) وعدم وجود [[تداخل خطي (إحصاء)|تداخل خطي]] بين المتغيرات <math>X_j</math> (في حالة [[انحدار خطي متعدد|الانحدار الخطي المتعدد]]).
* '''الفرضية <math>H_4</math>''': حجم عينة البيانات أكبر بكثير من عدد [[معلمة إحصائية|المعالم الإحصائية]] اللازم تقديرها، أي <math>n\gg p</math>.

=== الفرضيات التصادفية ===

* '''الفرضية <math>H_5</math>''': [[قيمة متوقعة|القيمة المتوقعة]] للأخطاء الإحصائية منعدمة، <math>E(\varepsilon_i)=0</math>، بالنسبة لكل ملاحظة <math>i</math>.
* '''الفرضية <math>H_6</math>''': ا<nowiki/>[[ترابط تلقائي|لارتباط الذاتي]] للأخطاء منعدم، لكل زوج <math>(i,k)\in[1,...,n]^2</math> بحيث <math>i\neq k</math>، <math>E(\varepsilon_i, \varepsilon_k)=0</math>.
* '''الفرضية <math>H_7</math>''': [[تساوي التباين|تجانس تباين]] الأخطاء الإحصائية <math>E(\varepsilon_i,\varepsilon_k)=\sigma_\varepsilon^2</math>.
* '''الفرضية <math>H_8</math>''': الأخطاء [[توزيع احتمال|موزعة]] وفق نفس [[توزيع احتمالي طبيعي|التوزيع الطبيعي]] <math>\varepsilon_i\backsim \mathcal{N}(0,\sigma_\varepsilon^2)</math>.

=== طرق التأكد من الفرضيات ===
عمليا، يتم التأكد من الفرضيات، في الغالب، عبر اختبارات إحصائية، وغالبا ما تكون العملية تكرارية ويمكن أن تستلزم القيام بتطبيق دوال تحويلية على المتغيرات، أو استثناء عناصر إحصائية من العينة، حتى تقترب العينة المدروسة من البنية المثلى الموافقة للفرضيات. عمليا، من الصعب تحقق كل الفرضيات بصورة كاملة، ولذلك يجب مرافقة الدراسة بمقاربة تحكيمية تحقق التوافق بين الهدف من النمذجة وجودة البيانات المتوفرة وإمكانية الوصولية إلى بيانات أخرى.
{| class="wikitable"
|+أمثلة لطرق التأكد من الفرضيات البنيوية والتصادفية لنمذجة الانحدار الخطي
!الفرضية
!طرق التأكد
!استراتيجيات بديلة
|-
|'''<math>H_1</math>'''
|التصديق على منهجية الاستعيان
|
|-
|'''<math>H_2</math>'''
|تطبيق الاختبارات الإحصائية للتوزيع الطبيعي، مثلا:

* [[اختبار شابيرو ويلك]] (ملائم للعينات الصغيرة)
* [[اختبار خاركي بيرا|اختبار جارك بيرا]] (ملائم للعينات الكبيرة)
|في حالة فشل الاختبار، ينصح بتطبيق تحويلات على المتغيرات (التابعة والمستقلة) لإنتاج متغيرات جديدة تؤول [[خط مقارب|تقاربيا]] إلى حالة [[توزيع احتمالي طبيعي|التوزيع الطبيعي]]، مثلا:

* تطبيق [[متغير موسط مختزل|التحويل المعياري]]: <math>Y\rightarrow \frac{Y-\mu_Y}{\sigma_Y}</math> عبر '''''توسيط''''' المتغير (طرح [[متوسط حسابي|المتوسط]]) و'''''اختزاله''''' (عبر قسمة الناتج على [[انحراف معياري|الانحراف المعياري]])
* تطبيق [[تحويلة بوكس كوكس]] عبر إيجاد أمثل <math>\lambda</math> يحقق مآلا تقاربيا للمتغير<math>B(x,\lambda) = \begin{cases} \frac{x^{\lambda} - 1}{\lambda} & \text{, } \lambda \neq 0 \\ \log(x) & \text{, } \lambda = 0 \end{cases}</math> نحو التوزيع الطبيعي.

<br />
|-
|'''<math>H_3</math>'''
|'''في حالة الانحدار البسيط:'''

* معاينة بصرية لمنحنى <math>Y</math> بدلالة <math>X</math>.
* حساب معامل الارتباط الخطي والتأكد من مغزاه الإحصائي (عبر [[معامل الارتباط لبيرسون|اختبار برافي بيرسون]] مثلا)

'''في حالة الانحدار المتعدد'''، التأكد من عدم وجود [[تداخل خطي (إحصاء)|التداخل الخطي]] يمر عبر تطبيق الاختبارات التالية:<ref name=":22">{{استشهاد بويب
| مسار = http://eric.univ-lyon2.fr/~ricco/cours/slides/Reg_Multiple_Colinearite_Selection_Variables.pdf
| عنوان = Colinéarité et Sélection de Variables - Régression Linéaire Multiple
| تاريخ = 
| موقع = 
| ناشر = 
| مسار أرشيف = https://web.archive.org/web/20181123122713/http://eric.univ-lyon2.fr/~ricco/cours/slides/Reg_Multiple_Colinearite_Selection_Variables.pdf
| تاريخ أرشيف = 23 نوفمبر 2018
| تاريخ الوصول = 
| الأخير = Ricco Rakotomalala
| الأول = 
}}</ref>

* جرد المتغيرات المشتبه بها عبر [[تداخل خطي (إحصاء)#قاعدة كلاين|قاعدة كلاين]].
* حساب [[تداخل خطي (إحصاء)#عامل تضخم التباين|عوامل تضخم التباين]] لكل التغيرات المفسرة.
* .[[تداخل خطي (إحصاء)#اختبار تجانس الإشارات|اختبار تجانس الإشارات]].
* [[تداخل خطي (إحصاء)#اختبار فارار وغلاوبر|اختبار فارار وغلاوبر]] العام لاختبار فرضية استقلالية المتغيرات المفسرة.
|في حالة الانحدار البسيط:

* تطبيق تحويلات رياضية (لوغاريتمية، تحويلة بوكس كوكس...) تقترب من الحالة الخطية.

في حالة الانحدار المتعدد:

* تطبيق خوارزميات تكرارية عبر إدخال وإخراج المتغيرات المستقلة إلى غاية بلوغ نموذج مستقر وفق معيار إحصائي (مثلا [[معيار أكايكي للمعلومة]]).<ref name=":22" />
|}

== طرق تقدير معلمات النموذج ==

من أبرز الطرق المستعملة في تقدير معلمات النموذج طريقة المربعات الصغرى، وتنحصر خصائص المعلمات المقدرة في خمس افتراضات:
* الخطية.
* انعدام القيمة المتوقعة للعنصر العشوائي.
* [[تساوي التباين|تجانس تباينات الأخطاء العشوائية]]
* عدم ارتباط ذاتي بين الأخطاء العشوائية.
* عدم ارتباط ذاتي بين المتغيرات المستقلة والأخطاء العشوائية.

تتمثل '''طريقة المربعات الصغرى''' في تقدير والتي تقلل الفرق بين القيم الفعلية والنظرية أو المقدرة والتي تحقق النهاية الصغرى للكمية.

== انظر أيضًا ==

* [[تحليل التباين]]
* [[تداخل خطي (إحصاء)|تداخل خطي]]
* [[انحدار خطي بسيط|الانحدار الخطي البسيط]]
* [[مبرهنة غاوس-ماركوف|مبرهنة غاوس ماركوف]]

== مراجع ==

{{مراجع}}
{{روابط شقيقة}}
{{إحصاءات}}
{{شريط بوابات|الاقتصاد|رياضيات|إحصاء}}

[[تصنيف:إحصاء معلمي]]
[[تصنيف:دوال]]
[[تصنيف:طرق المعادلة الأحادية (الاقتصاد القياسي)]]
[[تصنيف:نظرية التقدير]]