Линейная регрессия

[shvarz]

Внимание, вопрос! Требуется помощь зала!
У меня есть набор точек на плоскости, я прошу Excel провести через них прямую, выходяющую из нуля. Хотя у меня все точки важны одинаково, Excel придает наибольший вес точке с наибольшими (x, y). В какой-то мере это понятно - он минимизирует абсолютное значение residuals.
Пример:
2, 2
20, 20
200, 400
Получившийся график:

Excel тупо проводит линию как можно ближе к точке (200, 400) не обращая внимание на то, что две нижние точки оказываются существенно ниже этой линии. Я хочу, чтобы в учет брались не абсолютные, а нормализированные residuals. Можно ли это (без особых сложностей) сделать в Excel? Если нет, то какая программа это сделает без большой мороки? Или скажите хотя бы, как такой способ называется "по-умному", чтобы я мог в гугле поискать.

Comments

[azzo27.livejournal.com]

Excel не причем, он просто реализует http://en.wikipedia.org/wiki/Least_squares

Что Вы имеете в виду под "нормализированные residuals" ?

если dy/y , то используйте LS regression для графика ln(y) vs. ln(x) .

[shvarz.livejournal.com]

Ну я имею в виду, что least squares должные считаться не в абсолютных цифрах, а в процентах от величины для каждой точки. В примере выше прямая проходит в ~2 единицах от точки (200,400) - то есть отклонение всего 0.5-1%; она также отклоняется примерно на 1.5-2 единицы от точки (2,2) - это отклонение на 60-100%.

Я сначала тоже решил строить ln(y) vs ln(x), но потом сообразил что прямая в этих координатах не является прямой в обычных x vs. y. В ней мы получаем ln(y)=a*ln(x), то есть y=x^(a) (x в степени a).

[v-v.livejournal.com]

Сначала нормализуйте исходные данные как больше нравится, потом делайте регрессию по нормализованным данным, потом де-нормализуйте обратно

Например, логарифмируйте y, потом сделайте exp()

2, 0.69
20, 3.00
200, 6.00

Получится, вероятно, y=0.0312x, экспонента -> y=1.032x

[v-v.livejournal.com]

Ну и пусть она не является прямой при обратном преобразовании. В этом и будет отражено то, что Вам нужна не совсем линейная регрессия

[azzo27.livejournal.com]

В ln - ln через 0 проводить не надо, но чтоб получить прямую, надо фиксировать slope=1.


Directly:
Вы ищете a : a = arg min sum((y - а * x)^2 / y^2) =
arg min sum((1 - а * p)^2) , where p_i = x_i / y_i

after (derivation by a) =0 you get:

a = sum(p) / sum(p^2)

- easy to find in Excel.

[shvarz.livejournal.com]

Эксперимент устроен так, что зависимость y от x должна быть линейной. Нелинейная зависимость (теоретически) может быть, но это означает привлечение дополнительных факторов, которые надо как-то объяснять и о которых мне ничего не известно.

[shvarz.livejournal.com]

ОК, кажется это работает! В примере выше получилось y=1.111x
Получающийся график выглядит гораздо лучше:


Спасибо!

[azzo27.livejournal.com]

yw!

[worldtensor.livejournal.com]

Возможно Вам поможет информация вот здесь (http://www.itl.nist.gov/div898/handbook/pmd/section4/pmd452.htm). Такие weighted curve fittings точно можно делать в программе IgorPro (http://www.wavemetrics.com/Products/igorpro/dataanalysis/curvefitting.htm).

[shvarz.livejournal.com]

Спасибо, но большая часть того, что там написано мне непонятна. Igor крут, но тоже нетривиален. То есть я, наверно, разберусь и сделаю, но результат не будет стоить потраченных усилий :)