Данный раздел ни в коем случае не претендует на полный курс, а тем более на строгий курс теории вероятностей. В то же время, для понимания аппарата машинного обучения или, тем более, искусственного интеллекта, без вероятностей (и, кстати, статистики) не обойтись. Мы преследуем цель максимально сжато и как можно менее убого изложить основные факты, знание которых необходимо для понимания дальнейшего.

Вероятностное пространство

Объектами изучения теории вероятностей так или иначе являются некоторые эксперименты, например, такие как подбрасывания кубика или монетки, стрельба по мишени, урновые схемы и так далее. Для того, чтобы корректно описывать вероятностную модель рассматриваемого эксперимента, необходимо определиться с тем, какие результаты эксперимента вообще возможны.

<aside> 📌 [Def | Пространство элементарных исходов] Множество взаимоисключающих исходов эксперимента называется пространством элементарных исходов и обозначается символом $Ω$.

</aside>

Пример

Пусть эксперимент заключается в подбрасывании игральной кости (шестигранный кубик). В таком случае элементарными исходами будут выпадения чисел, изображенных на гранях кости и

$$ \Omega = \{1,2,3,4,5,6\}. $$

Зачастую рассмотрения только элементарных исходов (например, выпадение того или иного числа игральной кости) недостаточно, и возникает потребность рассматривать какие-то более сложные события: например, выпадение четного числа. В таком случае нам подойдут значения $\{2, 4, 6\}$. То есть нам интересно описывать какие-то подмножества множества $Ω$.

<aside> 📌 [Def | σ-алгебра] $U$ — $σ$-алгебра подмножеств $Ω$, множество событий, если

  1. $\varnothing, \Omega \in U$.
  2. $\bigcup\limits_{i=0}^\infty A_i\in U$ , $\bigcap\limits_{i=0}^\infty A_i\in U$.
  3. $A\in U \Longrightarrow \overline A\in U$ , где $\overline{A} = \Omega \setminus A$. </aside>

Пример

Подбрасывается честная монетка.

$$ \Omega = \{\text{О}, \text{Р}\} $$

В качестве $U$ можно рассматривать, например, следующие множества:

  1. $U = \{\varnothing, \{\text{О}, \text{Р}\}\}$ — тривиальная $*σ$-*алгебра.
  2. $U = \{\varnothing, \{\text{О}\}, \{\text{Р}\}, \{\text{О}, \text{Р}\}\}=2^{\Omega}$ — множество всех подмножеств.

Пример

Подбрасывается игральная кость.

$$ \Omega = \{1,2,3,4,5,6\} $$