
簡化分批法和一般分批法區(qū)別項很多,他們的區(qū)別主要在于以下幾個方面:
一、簡化分批法更加簡單,遵循“大小兩把分”的原則,將訓(xùn)練數(shù)據(jù)分成兩類:大樣本和小樣本。大樣本用來對模型進行整體參數(shù)訓(xùn)練,小樣本用來更新模型的具體參數(shù)。根據(jù)大小樣本比例的不同,簡化分批法分為全局性簡化分批法和局部性簡化分批法。
二、一般分批法將訓(xùn)練數(shù)據(jù)分成一個一個小的batch,用來分步更新模型參數(shù)的數(shù)量。其中每一步更新的量和數(shù)據(jù)規(guī)模有關(guān),這樣能夠加快訓(xùn)練速度,減少梯度下降過程中計算量。
總的來說,簡化分批法是通過分類訓(xùn)練數(shù)據(jù)來更新模型參數(shù),而一般分批法是通過分割訓(xùn)練數(shù)據(jù)來更新模型參數(shù)。這兩種方法都具有優(yōu)勢,但在不同情景下,使用不同的分批法可以更好地實現(xiàn)訓(xùn)練的效果,更接近最優(yōu)解。
拓展知識:正則化分批法是近幾年提出的一種新型分批法,它主要是根據(jù)模型的正則化泛函來選擇樣本,來進行迭代更新模型參數(shù)。這種技術(shù)可以減少訓(xùn)練時間,提高模型準確率,可以更好地適應(yīng)大規(guī)模數(shù)據(jù)集訓(xùn)練。














官方

0
粵公網(wǎng)安備 44030502000945號


