基础知识¶

概率与随机¶

概率论是用于表示不确定性声明的数学框架。它不仅提共了量化不确定性的方法。也可以用于导出新的不确性声明。

在AI领域，概率法就是AI系统如何推理。

概率论使们能够提出不确性的声明以及在不确性存在的情况下进行推理，而信息论使我们能够量化概率分布中的不确性总量。

期望¶

其实人们做各种决定的时候，都是求期望的过程，人们都是期望最大化。而以前书上讲平均是肤浅的理解。人们纠结的过程也就是在计算其期望的过程。概率论中的期望就是信息论·的一个最简版本。

\[I(x)= - logP(x) H(x) = E_{x~p}[I(x)] = -Ex~p[logP(x)]\]

自信息论只处理单个的输出，而熵是则一条序列的整体度量。例如香农熵则是对整个概率分布中不确定问呢量进行量化。

概率密度函数¶

随机变量每一个值的概率值。简单的理解那就是灰度图的直方图。灰度图也是种概率密度，灰度本身的范围那就是0-255，概率密度就是每一个量度上像素点的多少。

随机变量¶

什么是随机变量，之前总是不能清楚与生活联系起来。对于随机量的理解难度在于，我们一直接触的是一个确定量，例如这个东西的长宽高，这就是一个具体的值。例如所以我们说一个长度就是一确定的值例如是10，10 就是长度。并且我们追求所谓的真值。认为只有一个量与之对应。同在真实情况下，所谓的10可以是任何意义，可以是身高，也可以是体重。不存在绝对的随机量，而放在一个系统里，就可以清楚哪些因素是随机量。

https://www.random.org/ 通过大气运动等等提供一个真随机量。

真正的随机是很造的，在计算机中大部分是采伪随机算法，所以只要参数以及sed等等还是可以预测结果的。

马尔可夫链¶

https://zh.wikipedia.org/wiki/%E9%A9%AC%E5%B0%94%E5%8F%AF%E5%A4%AB%E9%93%BE

我们经常的因果论链，为什么在现实生活中指导意义不大，大家潜意识认为的是强因果论，而现实现情况下，大部分的情部是弱因果论链。而马尔可夫链就是这样弱因果论链条。

就像我们编码的状态机一样。我们经过测试得到一个统计概率。前后之间的状态可以用马尔夫链来进行优化。

for each steps:
   for state in states:
       switch states:
          case XXX
          case XXX
          case XXX
          default

各种回归¶

回归分析: 确定两种或两种以上变量相互依赖的定量关系。

简单的线性回归¶

\[y = a + b*x\]

多变量回归¶

\[y = a_{0} + a_{1}*x_1 + ... + a_n*x_n\]

logistic Reguression¶

当计算事件成败这样二值分类问题。所以一般转化到逻辑函数上去。也就是sigmoid函数。

Polynomial Regression 多项式回归¶

自变量的指数大于1。

卷积¶

根本不是反转，那个只计算的一个形式，如果将其看做是距离呢。其实就是

\(f(n+1)=f(n) + 1 \times \triangledown\) 这个是一个通项公式。

我们经常序列的整体表达与通项公式的表达混在一起。这样会引起各种混乱。

极数是单个点上的近似计算。而卷积计算整个曲线上每一个点的通项表达式。极数采用的多阶倒，而卷积只原始本身。例如起点到目标函数上位置，以及起点到目标点距离在函数g的表示。把所有可能的起点累加。

卷积的计算，可以看做是边际概率的一种计算模式。也是在解决一种 n*n 的关系的量化计算。

卷积计算的过程，字符串搜索。两个字符串看成两个序列。那么搜索的过程，不就是一个卷积计算的过程。

知乎上的通俗解释

卷积另一个功能那就是降维，那就是如何把二维函数降为一种一维方法见为什么叫卷积

卷积求联合概率。例如知道P_x,P_y,而要求P(x+y =n)的概率是多少。

做镘头的例子。以及再复例的例子用复利与卷积

可以这样理解，\(f(x)\) 就是一个生成函数，而 \(g(x)\) 就是生成之后，成长函数。而卷积就是求其任意一个时间点，其数量的公式。