分布变化 OT

OT

Posted by 高庆东 on December 5, 2023

概念

两个分布之间信息交互，从一个分布转为另一个分布，有无数种可能情况，通过代价函数筛选最优的转换方式
常见应用生成式算法，图像生成 从一个分布到另一个分布

基础知识

KL距离

衡量一个事物的信息量用熵，一件事情如果必然发生，那本身信息量为0 如果一件事发生概率非常小，那信息量
会很大，母猪飞上树信息量确实比较大，所以概率越大信息量越小概率越小信息量越大。h(x)表示信息熵

\[h(x)=-log(p(x))\]

KL表示两个分布的距离

$ KL(p(x)   q(x)) = {p(x) * log({p(x)} \over {q(x)})} $
CATALOG
    FEATURED TAGS
    c语言 c++ 面向对象 指针 容器 python 函数 数据结构 回归 损失函数 神经网络 机器学习 似然函数 极大似然 标准化 深度学习 卷积网络 参数估计 beta分布 数据处理 gradio 模型工程化 网页 模型加速工具 c++实现 变量 占位符 tensorflow 线性回归 学习tensorflow HMM RNN 强化学习 LSTM pandas 不定长序列损失 pytorch 目标检测 RPN 非极大值抑制 ROIpooling VGG16 Transformer BERT Python 装饰器 方法 Pytorch FPN 图像分类 CNN 多模态 生成 GPT Tranformer 生成模型 audio