読者です 読者をやめる 読者になる 読者になる

Chainerでvalidationをする際に気をつけるべきこと

Python

はじめに

ChainerのTrainer機能が使いこなせないので,自分で訓練ループを書いてます.

先日,自分で評価ループ(Validation)を実装したときにハマったのでメモです.

Chainerにおける訓練&評価ループ

Chainerにおける訓練のプロセスってだいたい決まっていて, Chainerチュートリアル -v1.5向け- ViEW2015 にもある通りなんですが,

  1. 訓練ループを回す(勾配をゼロ初期化,順伝播してlossを計算,得られたlossをbackward, optimizerのupdate)
  2. 適当なタイミングで評価ループ(Validation)を回す (順伝搬してlossを計算,得られたlossを出力)

これだけです.当たり前ですね〜

ここでのポイントは,訓練ループも評価ループも,順伝搬してlossを計算するのは同じってところですね.

ハマりどころ

以上の流れを踏まえると,こういうコードを書きたくなります.

def train():
    for batch in data:
        loss = model(x,t)
        loss.backward()
        optimizer.update()

def validation_wrong():
    #out of memoryで落ちるver.
    accum_loss = 0
    for batch in data:
        accum_loss += model(x,t)
    return float(accum_loss.data)

accum_lossにmodel.__call__で計算したlossを足しこんでいって,最後にlossの総和を出力するコードですね. lossを計算するのは同じなので,素直にtrain()からmodel(x,t)をコピーしています.

しかし,これをそのまま実行するとout of memoryでプログラムが落ちます.

というのも,この書き方だとChainerは変数accum_lossに全ての評価データのlossを保存しようとするからです. このときlossは誤差逆伝播のために計算グラフの履歴を保持している(多分)なので,少量のデータでも結構なメモリを食います. 結果メモリがゴリゴリ消費されていって,落ちてしまうんですね.

(気持ちとしては,ミニバッチ学習をしているつもりが,全データの最適化を試みているような形になっている?)

正しい書き方

こうやって書きましょう

def validation_right():
    #out of memoryならないver.
    accum_loss = 0
    for batch in data:
        accum_loss += model(x,t).data
    return float(accum_loss)

lossの総和を出力するために必要なのは,lossのスカラ値だけなので,dataだけ保存しておけば十分です. この書き方をすれば,各バッチの計算後にメモリは開放されるので,メモリ不足にはなりません.

簡単なミスなんですが,これに気がつくのに半日くらいかかりました…

(ごくごく少量のデータで試したら落ちなかったので,全データで試す → 1epochの計算に9時間を費やした後,validationでお亡くなり → 悲しみ)

皆さんは気をつけましょう.というかChainer本体のTrainerを使いましょう.

それでは.