Я работаю в области программирования, в которой часто нужно сравнивать два варианта разрабатываемой системы на больших массивах данных, чтобы получить понимание того, какая из них статистически ведет себя "лучше". Мне кажется, это довольно близкая ситуация к теме поста.
Как и в науке, для этого придумано много методов. Как и в науке, вес и значимость исследования прямо зависят от того, окажутся ли результаты исследования положительными (и даже карьера "исследователя", пусть не прямо, но косвенно точно). И у нас принята презумпция честности исследователя. И у нас проблемы с объемами данных, с рандомизированными методами, с достаточностью выборки, с устареванием данных, и т.п. И, несмотря на то, что это не наука, несмотря на то, что изучаемая "область" очень замкнутая, не имеет почти никакой значимости вне компании (а вне индустрии и подавно), несмотря на все это, стандарты ясности и повторяемости, судя по тому, что я здесь читаю, точно как минимум не ниже.