Применение метода максимума энтропии в задачах статистики

В наше время трудно переоценить значимость информации, ведь у
кого ее больше тот более востребован. Именно поэтому с каждым
годом на обработку и добычу информации выделяются огромные
средства. Вследствие этого набирают популярность методы и ал-
горитмы для ее обработки. До 50-х годов прошлого века основное
определение энтропии было дано Р.Клазиусом в 1865 году для тер-
модинамических процессов. Однако в 1948 году Клод Шеннон пред-
ложил вероятностный подход для актуальной на то время пробле-
мы рациональной передачи информации через зашумленный комму-
никационный канал. Его идеи послужили основой для разработки
двух основных направлений: теории информации и теории кодиро-
вания. Эти области активно развиваются и сейчас, но самое главное,
что на основе этих идей он опубликовал две статьи в «Bell System
Technical Journal», где и ввел понятия энтропии, как меры случай-
ности. Используя данное понятия энтропии, американский ученый
Э.Т. Джейнс сформулировал «принцип максимума энтропии» для
решения сложных задач статистики. В настоящее время метод мак-
симума энтропии активно применяют в таких важных областях, как
финансы, биометрическая аутентификация, моделирование экстре-
мальных событий. В данной работе будет предложен и показан ал-
горитм применения метода максимума энтропии к задачам с непол-
ной информацией. При реализации принципа максимума энтропии
используется метод множителей Лагранжа, который позволяет пе-
рейти от условной оптимизации к безусловной. Данный переход поз-
воляет написать решение задачи оптимизации в параметрическом
виде. Результатом работы является алгоритм и программа, разра-
ботанная на языке python3, позволяющие получить эффективные
оценки параметров бета-распределения, не имея полной информа-
ции. Бета-распределение с неполной информацией назовем модифи-
цированным бета-распределением.
2 Проблема оценивания неизвестных па-
раметров распределений случайных ве-
личин
Обычно существует два разных подхода для получения точных оце-
нок параметров. А именно классический метод и теоретический под-
ход к решению. Наиболее часто используемые методы при класси-
ческой оценке заключаются в следующем.
Оценка является одной из основных областей статистического
вывода. Статистический вывод – это процесс, с помощью которого
выводы из данных выборки используются для получения результа-
тов о населении, из которого была выбрана выборка. Теория оценки
была основана профессором Р.А.Фишером в серии фундаменталь-
ных работ около 1930 года. Точечная оценка относится к процессу
оценки параметра по вероятностному распределению, основанному
на наблюдаемых данных из распределения. Это одна из основных
тем математической статистики. Проблема оценки, когда некоторый
параметр неизвестен, привлекла значительное внимание статисти-
ков в недавнем прошлом. Проблему оценки можно встретить везде:
в бизнесе, в науке, а также в повседневной жизни.
Возможно, вы захотите узнать, сколько времени в среднем уй-
дет на работу, а серьезный садовник может захотеть узнать, какие
пропорции некоторых тюльпанов можно ожидать. Если мы рассмот-
рим такие практические данные, то естественно, что они будут сле-
довать определенному распределению вероятностей некоторой слу-
чайной величины. В этом случае мы получаем дистрибутив, и нас
могут интересовать его характеристики. Итак, нам необходимо изу-
чить распределение и оценку его параметров, где параметр может
быть неизвестен.
Введем основные определения, необходимые для понимания
поставленной задачи.