LSTM'лер көйгөйдү уникалдуу кошумча градиент структурасы аркылуу чечет, анын ичинде унутуу дарбазасынын активацияларына түз кирүү, дарбазаларды тез-тез жаңыртуу аркылуу тармакка ката градиентинен каалаган жүрүм-турумга түрткү берет. окуу процессинин ар бир кадамында.
LSTM жарылуучу градиентти кантип чечет?
Өтө кыска жооп: LSTM клетканын абалын (адатта c менен белгиленет) жана жашыруун катмарды/чыгарууну (адатта h менен белгиленет) ажыратат жана c га гана кошумча жаңыртууларды жасайт, бул c ичиндеги эстутумдарды туруктуураак кылат. Ошентип, градиент c аркылуу өтөт жана аны жок кылуу кыйын (ошондуктан жалпы градиент жок болуу кыйын).
Жоголуп бараткан градиент маселесин кантип чечсе болот?
Чечимдер: Эң жөнөкөй чечим - башка активдештирүү функцияларын колдонуу, мисалы, ReLU сыяктуу кичинекей туунду пайда кылбайт. Калган тармактар дагы бир чечим болуп саналат, анткени алар түз эле мурунку катмарларга калдык байланыштарды камсыздайт.
LSTM кандай көйгөйдү чечет?
LSTMs. LSTM (узак кыска мөөнөттүү эстутум үчүн кыска) биринчи кезекте кайра таралуудагы жоголуп бараткан градиент маселесин чечет. LSTMs жаттоо процессин көзөмөлдөгөн гатинг механизмин колдонушат. LSTMлердеги маалымат ачылуучу жана жабылган дарбазалар аркылуу сакталып, жазылып же окулат.
Эмне үчүн LSTMs градиенттериңизди арткы өтмөктөн көрүнбөй калышын токтотот?
Мунун себеби, бул туруктуу ката агымын күчтөндүрүү үчүн, градиентти эсептөө киргизүүгө же талапкер дарбазаларына кайра агып кетпеш үчүн кыскартылган.
