相关变量之间的关系可以是线性的，也可以是非线性的。这里只讨论多元线性回归。设x₁,x₂,…,x_p是p个可以精确测量或可控制的变量。如果变量y与x₁，x₂，…,x_p之间的内在联系是线性的，那么进行n次试验，则可得n组数据：(y_i, x_i1 ,x_i2 , … , x_ip), i= 1,2,…,n
　　它们之间的关系可表示为：
y₁ = b₀ + b₁x₁₁ + b₂x₁₂ + … + b_px_1p +ε₁
y₂ = b₀ + b₁x₂₁ + b₂x₂₂ + … + b_px_2p +ε₂
…… …… ……
y_n = b₀ + b₁x_n1 + b₂x_n2 + … + b_px_np +ε_n
其中，b₀，b₁，b₂，…，b_p是p＋l个待估参数，ε_i表示第i次试验中的随机因素对y_i 的影响。为简便起见，将此n个方程表示成矩阵形式：
Y = XB+ε
其中

　　Y=(y₁,y₂, …,y_n)'
　　B=(b₀,b₁, …,b_p)'
　　ε=(ε₁,ε₂, …,ε_n)'
上式便是p元线性回归的数学模型。