Метод наименьших квадратов
Запишетесь на полный курс Машинного обучения на Python по адресу [email protected]
Предположим, что у нас есть данные некоторых измерений, наблюдений или просто пары значения - переменные x и y. Выявим линейную взаимосвязь между этими переменными.
Построим эти пары значений, точки (xi; yi), в прямоугольной системе координат и подберем прямую, которая ближе всего расположена к этим точкам. Согласно методу наименьших квадратов линия выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной.
МНКЕсли принять уравнение прямой за y = a + bx, то нужно минимизировать сумму расстояний между каждой точкой наблюдения и этой линией, сумму следующих выражений:
(yi - y)^2 = (yi - bxi - a)^2
На практике берут квадраты расстояний, чтобы дополнительно не извлекать квадратный корень: минимум и корней, и квадратов корней будет находиться в одном значении (a; b).
Хорошая новость заключается в том, что у это задачи есть единственное решение - единственная прямая, минимально удаленная от точек наблюдения. Для нахождения коэффициентов a и b нужно будет взять частные производные от суммы квадратов и приравнять их нулю, итоговые значения выглядят так:
Коэффициенты МНК
Смысл метода наименьших квадратов
Коэффициент b указывает на характер связи (зависимости) переменной y от x: если b больше 0 - то связь прямая, если b меньше 0 - обратная.
Коэффициент a говорит об "остаточном" значении переменной y при отсутствии x (x = 0).
Найденное уравнение является уравнением линейной регрессии y от x и может использоваться для прогнозирования значения зависимой переменной - y - при линейной экстраполяции.