只有15天了,15天后就要提交完整的論文
我需要做好:
1.把agent寫出來
2.把env寫出來
3.訓練起來
4.測試起來
5.寫論文
——————————————————————
f已經沒問題了,正在跑
t還是那個問題,多卡返回這樣是行不通的,我現在的做法是把那個全連接層放到loss裡面,這樣應該可以反向傳播的
還一個問題,我從中間讀取check point包括model、prob,應該是可以成功的,但是跑起來一直有問題,我查出來確實是prob矩陣似乎全都是0,這可能就是問題所在
我現在重新跑一下第一個階段,獲得prob之後,打印出來看看是不是0
之所以之前保存了0,我記得是因為某一次我把一階段的epoch設置成0之後,沒有注釋掉保存prob的代碼,結果就把全0的prob保存了下來。
等跑完一階段後,我看看效果如果prob正常了,那麽我就可以看看之前那種修改方式t-有沒有在變化,如果有的話還行,沒有的話,我就需要修改為把全連接層放到loss裡面。
————————————————————————
先看這個效果把,大概今晚七點半出結果
在這期間,我可以在本地寫打印clean 的實驗
並且開始寫強化學習的代碼
—————————————————————————
現在prob正確的保存下來了,這樣以後不用費力氣去跑1、2兩個階段了
可以直接從3開始,但是3有個地方我沒寫好,又bug了,現在再跑
clean 的實驗上傳到服務器上跑了,mnist太小沒有討論價值,cifar10和cifar100上,可以明顯看出,有許多乾淨數據被誤判為large 了,因此確實需要來拯救一下。可怕的是,factor=0的時候,比0.01,提高的要慢一些,不過關不了那麽多了,先放著吧。
————————————————————————————
還有個事情,cauchy的公式需要推導
強化學習的代碼,明天一定要寫起來。
————————————————————————————
32166 10lc_10
32167 10lc_30
32168 10lc_50
32169 100lc_10
32170 100lc_30
32171 100lc_50
32172 mlc_10
32173 mlc_30
32174 mlc_50
——————————————————————————————
以上全部作廢,因為gamm和epsilon的計算方式是錯誤的
現在換了新的,在cifar10上測試了,目前來看似乎可以跑出正確的結果
我在等等確認一下,如果可以,那麽一會可以factor改為0,看看效果
最後沒問題,那就跑noise
————————————————————————————————
t-應該是可以的,但是loss非常小,不知道為什麽,先不管那麽多了,我直接重新跑了,把print loss那個注釋掉了。此時還是個測試,因為我要確定3階段可以正確的訓練,然後我才跑5epoch的一階段,免得又浪費時間。
————————————————————————————————