当前位置:Gxlcms > mysql > DeepLearning系列(2):NN(神经网络)及反向传播算法

DeepLearning系列(2):NN(神经网络)及反向传播算法

时间:2021-07-01 10:21:17 帮助过:45人阅读

前一章介绍了Deep Learning 中DBN算法(DL 系列一),发现当参数W经过stacked RBM 后,还需要Supervised Learning,即NN来优化参数。然而 怎样去优化呢? 参见 UFLDL教程之神经网络与反向传导算法,以及 Dark_Scope 的NN代码解读。 本章将结合DBN与NN的算法

前一章介绍了Deep Learning 中DBN算法(DL 系列一),发现当参数W经过stacked RBM 后,还需要Supervised Learning,即NN来优化参数。然而怎样去优化呢?

参见 UFLDL教程之神经网络与反向传导算法,以及Dark_Scope 的NN代码解读。

本章将结合DBN与NN的算法推导以及代码,针对重点作讲解。

代码下载:DeepLearnToolbox

当DBN每一层训练完后,参数将传给NN作监督学习。见\DBN\dbnunfoldtonn.m



具体批量梯度下降法见:

\NN\nntrain.m 其中code44-58

   for l = 1 : numbatches
        batch_x = train_x(kk((l - 1) * batchsize + 1 : l * batchsize), :);
        
        %Add noise to input (for use in denoising autoencoder)
        if(nn.inputZeroMaskedFraction ~= 0)
            batch_x = batch_x.*(rand(size(batch_x))>nn.inputZeroMaskedFraction);
        end
        
        batch_y = train_y(kk((l - 1) * batchsize + 1 : l * batchsize), :);
        
        nn = nnff(nn, batch_x, batch_y);
        nn = nnbp(nn);
        nn = nnapplygrads(nn);
        
        L(n) = nn.L;
        
        n = n + 1;
    end

参数更新为l=1:numbatches,(关于批量梯度下降可参见:机器学习系列一)

L(n)为n次迭代中,每次batchsize个样本残差和。

关于梯度下降法,在UFLDL中有介绍更快的算法L-BFGS和共轭梯度算法,寻找 代价函数 最小化时 的值。


参考文献:

1. UFLDL Tutorial

2. Dark 的博客

3. RBM tutorial (可见RBM以及DBN的推导,NN参数优化)

注:持续更新中。。。。

人气教程排行