猜想 创意 神经网络 损失函数

猜想（个人意淫）

Posted by 高庆东 on March 6, 2018

纯属个人意淫

（猜想：是否可以对训练集采用反例来训练）通过极大化误差函数

想法：对于梯度下降的学习方法因为每次跟新都是根据学习率根据梯度方向（是数字量） 可不可以通过模拟的方法直接跳过局部最优点到达最优点（通过硬件）

猜想：对于cnn当进行下一层卷积运算时可不可以将上一层卷积的所有feature map 看成一张图片（也就是说对feature map 合成一张特征图片）

对于偏置的设置可不可以选择性加偏置

PCA算法中求解协方差矩阵时求的是每个样本的协方差矩阵的和再求平均得到一个矩阵针对所有样本进行pca 猜想：可不可以针对每个样本求协方差矩阵 再用该样本的协方差矩阵进行降维

异常检测： 对于样本的特征向量可不可以先看特征符合什么分布在计算分布函数（猜想：不一定非得都是高斯分布）

创意：构造一个自然语言处理的系统你需要某种语言的某种功能 你就可以直接描述该种功能 系统会自动给你生成一个例子供你参考 （将中文转化成程序语言的过程）

在梯度更新算法中Adagrad算法，梯度更新时学习率是再逐渐变小的过程只是对于每个参数减小的幅度不一样 猜想：可不可以根据每个参数对应的梯度平方的的平均（也关联上方差）来改善学习率 对于其中一个参数假如在该参数梯度方向上已经到达了最优解 所以梯度是0 在该维度上梯度的平均减小了对应学习率也减小

猜想：考虑实际损失函数的最优值与0值的差距

猜想：对于神经网络每层都设置损失函数

猜想：对于损失函数构建不等式正则化约束条件

猜想：可不可以用rnn实现图像某块区域没有用rnn开补充（或者用贝叶斯，马尔科夫）

动态规划可以用来解决逐层训练神经网络的问题 （最优控制）

CATALOG
    FEATURED TAGS
    c语言 c++ 面向对象 指针 容器 python 函数 数据结构 回归 损失函数 神经网络 机器学习 似然函数 极大似然 标准化 深度学习 卷积网络 参数估计 beta分布 数据处理 gradio 模型工程化 网页 模型加速工具 c++实现 变量 占位符 tensorflow 线性回归 学习tensorflow HMM RNN 强化学习 LSTM pandas 不定长序列损失 pytorch 目标检测 RPN 非极大值抑制 ROIpooling VGG16 Transformer BERT Python 装饰器 方法 Pytorch FPN 图像分类 CNN 多模态 生成 GPT Tranformer 生成模型 audio