深度学习中对于网络的训练是参数更新的过程,需要注意一种情况就是输入数据未做归一化时,如果前向传播结果已经是[0,0,0,1,0,0,0,0]这种形式,而真实结果是[1,0,0,0,0,0,0,0,0],此时由于得出的结论不惧有概率性,而是错误的估计值,此时反向传播会使得权重和偏置值变的无穷大,导致数据溢出,也就出现了nan的问题。
解决办法:
1、对输入数据进行归一化处理,如将输入的图片数据除以255将其转化成0-1之间的数据;
2、对于层数较多的情况,各层都做batch_nomorlization;
3、对设置Weights权重使用tf.truncated_normal(0, 0.01, [3,3,1,64])生成,同时值的均值为0,方差要小一些;
4、激活函数可以使用tanh;
5、减小学习率lr。
实例:
import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets('data',one_hot = True) def add_layer(input_data,in_size, out_size,activation_function=None): Weights = tf.Variable(tf.random_normal([in_size,out_size])) Biases = tf.Variable(tf.zeros([1, out_size])+0.1) Wx_plus_b = tf.add(tf.matmul(input_data, Weights), Biases) if activation_function==None: outputs = Wx_plus_b else: outputs = activation_function(Wx_plus_b) #return outputs#, Weights return {'outdata':outputs, 'w':Weights} def get_accuracy(t_y): # global l1 # accu = tf.reduce_mean(tf.cast(tf.equal(tf.argmax(l1['outdata'],1),tf.argmax(t_y,1)), dtype = tf.float32)) global prediction accu = tf.reduce_mean(tf.cast(tf.equal(tf.argmax(prediction['outdata'],1),tf.argmax(t_y,1)), dtype = tf.float32)) return accu X = tf.placeholder(tf.float32, [None, 784]) Y = tf.placeholder(tf.float32, [None, 10]) #l1 = add_layer(X, 784, 10, tf.nn.softmax) #cross_entropy = tf.reduce_mean(-tf.reduce_sum(Y*tf.log(l1['outdata']), reduction_indices= [1])) #l1 = add_layer(X, 784, 1024, tf.nn.relu) l1 = add_layer(X, 784, 1024, None) prediction = add_layer(l1['outdata'], 1024, 10, tf.nn.softmax) cross_entropy = tf.reduce_mean(-tf.reduce_sum(Y*tf.log(prediction['outdata']), reduction_indices= [1])) optimizer = tf.train.GradientDescentOptimizer(0.000001) train = optimizer.minimize(cross_entropy) newW = tf.Variable(tf.random_normal([1024,10])) newOut = tf.matmul(l1['outdata'],newW) newSoftMax = tf.nn.softmax(newOut) init = tf.global_variables_initializer() with tf.Session() as sess: sess.run(init) #print(sess.run(l1_Weights)) for i in range(2): X_train, y_train = mnist.train.next_batch(1) X_train = X_train/255 #需要进行归一化处理 #print(sess.run(l1['w'],feed_dict={X:X_train})) #print(sess.run(prediction['w'],feed_dict={X:X_train, Y:y_train})) #print(sess.run(l1['outdata'],feed_dict={X:X_train, Y:y_train}).shape) print(sess.run(prediction['outdata'],feed_dict={X:X_train, Y:y_train})) print(sess.run(newOut, feed_dict={X:X_train})) print(sess.run(newSoftMax, feed_dict={X:X_train})) print(y_train) #print(sess.run(l1['outdata'], feed_dict={X:X_train})) sess.run(train, feed_dict={X:X_train, Y:y_train}) if i%100 == 0: #print(sess.run(cross_entropy, feed_dict={X:X_train, Y:y_train})) accuracy = get_accuracy(mnist.test.labels) print(sess.run(accuracy,feed_dict={X:mnist.test.images})) #if i%100==0: #print(sess.run(prediction, feed_dict={X:X_train})) #print(sess.run(cross_entropy, feed_dict={X:X_train,Y:y_train}))
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
华山资源网 Design By www.eoogi.com
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
华山资源网 Design By www.eoogi.com
暂无评论...
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新日志
2024年09月21日
2024年09月21日
- [ABC]安娜-胆麦发烧女声[6N纯银镀膜][2016[低速原抓WAV+CUE]
- 任天堂今晚举行直面会!第三方及独立游戏展示
- 《哆啦A梦的铜锣烧店物语》发售!开罗公式+哆啦A梦
- 任天堂公布《塞尔达传说》系列时间线:野炊与王泪独立在外
- 五条人.2012-一些风景2CD【刀马旦】【WAV+CUE】
- 陈奕迅.2013-Easons.Life演唱会2CD(2024环球红馆40复刻系列)【环球】【WAV+CUE】
- 许美静.1995-遗憾(新马版)【上华】【WAV+CUE】
- 《叶倩文 歌声情缘》[WAV+CUE][410MB]
- 《张国荣 首首动听经典不容错过 追忆的风 2CD》[WAV+CUE][870MB]
- 《腾格尔 容中尔甲 亚东 高原三星 男人篇 3CD》[WAV/分轨][1GB]
- 命运圣契公测实测可用兑换码大全 命运圣契最新兑换码分享
- 黑神话悟空上品疾蝠精魄获取方法一览|上品疾蝠精魄收集攻略
- 《七龙珠电光炸裂!ZERO》GT角色预告片曝光,15位新角色登场
- [ABC]安娜-胆麦发烧女声[6N纯银镀膜][2016[低速原抓WAV+CUE]
- NewViennaOctetViennaWindSoloists-TheDeccaRecordings(2024)18CD[24-48][FLAC]-7