我的主页

RNN

LSTM c表示这次又多少信息会保存到下一个单元，h表示当前的状态，y表示输出，其实h和y是一个意思 zf是控制上次的信息会有多少保留下来，zf=sigmoid(W*[h,x]) zf是01之间的值可以与c相乘表示 上次有多少信息保留下来，zi控制本次的输入有多少需要保留，上次保留的c加上本次的信息得到 下次c，其实c就是当前的输出了，但是为了保证当前输出是可变的所以乘zo控制有多少信息会作...

Posted by 高庆东 on August 7, 2020

常见标准化

标准化算法 Batch Normalization (BN) 是最早出现的，也通常是效果最好的归一化方式。N×C×H×W包含 N 个样本， 每个样本通道数为 C，高为 H，宽为 W。对其求均值和方差时，将在 N、H、W上操作， 而保留通道 C 的维度。具体来说，就是把第1个样本的第1个通道，加上第2个样本第1个通道 … 加上第 N 个样本第1个通道，求平均，得到通道 1 的均值（注意是除以...

Posted by 高庆东 on July 7, 2020

图像模型分析

VGG VGG的特点就是全部3*3卷积核，深度包含卷积核全连接，使用3*3的卷积核代替大的卷积， 两个33可以代替一个55,具体结构是卷积，标准化，激活函数。卷积后接自适应avgpool 7*7核 全连接部分的输出经过激活relu后需要叫dropout输入大小不会被限制，应为包含 了自适应pool。图像缩放主要依靠卷积中的maxpool 步长是2 ResNet 桶装的先是256通道变成64在...

Posted by 高庆东 on June 2, 2020

工具-画混淆矩阵图(非常漂亮的图)

画的混淆矩阵非常漂亮，自从用了这个来分析图像分类，整个人都精神了。 看一下图 from pandas import DataFrame import numpy as np import matplotlib.pyplot as plt import matplotlib.font_manager as fm from matplotlib.collections import Quad...

Posted by 高庆东 on May 1, 2020

论文-YOLOv4

创新点 用毫无创新来评价应该不过分，炒炒冷饭. 第一个创新点是将模型中残差计算变为连接计算， 第二个创新点是selfattention，注意力机制，这样会导致模型计算复杂度增加，但是特征会有更好的性能 这是SENet网络提出来的东西，ImageNet最后一次比赛的冠军。 第三个创新点可能就是数据部分了，使用一些奇怪方法增加数据量。比如将不同物体进行拼接，生成新图 然后就是各种...

Posted by 高庆东 on April 1, 2020

提出的一些方法和思路以及实现

论文以及代码 1 基于深度网络的复杂稀疏数据预测 https://github.com/MLgdg/SDP_DeepL 2 全连接网络的表征能力研究 https://github.com/MLgdg/X2NN# 论文以及代码

Posted by 高庆东 on March 3, 2020

论文-EfficientDet

创新点 这个文章还挺不错的，性能上应该说比较好，激活函数的创新真的会对性能造成质的改变吗？这是一个值得深思的问题。 创新点在于一个双向特征金字塔网络同时为了减小计算量使用了一些可分离卷积核，在计算回归损失得时候使用 了FocalLoss损失， 首先是FPN金字塔网络，而且是双向的，看一下图 图中就是正常的卷积，每个卷积都是空间分离卷积核点卷积的组合对这事为了减少参数量。圆圈部分有一下几步操...

Posted by 高庆东 on February 2, 2020

kaggle竞赛总结分析-孟加拉语预测

题目 这个主要是做孟加拉语识别，孟加拉语是个非常其他的文字。每个字有三种属性相当于一个多标签分类问题。 标签间的耦合性相对较低，我使用三个不同的模型训练每个标签然后再组装,简单来说就是对三个标签分别 训练，用三个densenet模型分别是168分类，11分类和7分类，同一张图片分别输入到三个模型，然后有三个结果 结果又是白忙活了一场名次不高。10000美刀毛都没搞到又白忙活了一场 数据 读取...

Posted by 高庆东 on January 11, 2020

Pytorch 源码学习

0.说明 我将解读pytorch 的部分代码主要的是torch文件夹下的东西做一些源码注释解释和说明使用，说明的层次主要停留在python阶段对于中层的C++只做部分解释，底层的C不解释。主要目的是通读阅读该文档可以熟练的使用pytorch进行开发任务，把想要的模型从脑袋里搬出来，把已经抽象成数学公式问题搬到计算机上，实现对模型的任意改进。我会从源码的每个常用函数开始解读，差分细节为函数和...

Posted by 高庆东 on December 5, 2019

深度学习Pytorch

维度变化问题 如果要让通道实现变化可以这样 ## 将通道按组拆分 x=x.view(b,c/g,,g,h,w) ## 位置换 x=x.transpose(1,2).contiguous() ##重新变化原来的维度 x=x.view(b,c,h,w) 模型保存问题 可以保存模型也可以只保存参数，放我们同时保存了模型时，在加载模型的时候需要原模型的对象， 也就是不能单独导入。当只保存了参数时...

Posted by 高庆东 on December 1, 2019

FEATURED TAGS
c语言 c++ 面向对象 指针 容器 python 函数 数据结构 回归 损失函数 神经网络 机器学习 似然函数 极大似然 标准化 深度学习 卷积网络 参数估计 beta分布 数据处理 gradio 模型工程化 网页 模型加速工具 c++实现 变量 占位符 tensorflow 线性回归 学习tensorflow HMM RNN 强化学习 LSTM pandas 不定长序列损失 pytorch 目标检测 RPN 非极大值抑制 ROIpooling VGG16 Transformer BERT Python 装饰器 方法 Pytorch FPN 图像分类 CNN 多模态 生成 GPT Tranformer 生成模型 audio
ABOUT ME

get busy living or get busy dying!

✉️ 986285044@qq.com