Объяснение рекуррентных нейронных сетей, долговременной кратковременной памяти и знаменитого подхода, основанного на внимании Когда вы углубляетесь в текст книги, вы читаете в логическом порядке глав и страниц и не без причины. Идеи, которые вы формируете, ход мыслей — все зависит от того, что вы поняли и сохранили до определенного места в книге. Эта настойчивость или способность иметь некоторую память и внимание помогают нам развивать понимание концепций и мира вокруг нас, позволяя..

Трансформеры сейчас популярны. Они становятся передовыми во всех областях с момента своего первого дебюта в статье Васвани и др. «Внимание - это все, что вам нужно». [1]. Хотя мы просто называем их «преобразователем», это механизм внимания, который мы впервые увидели в статье «Нейронный машинный перевод путем совместного обучения выравниванию и переводу», написанном Bahdanau et al. [2]. В этой статье я хотел бы объяснить, что такое механизм внимания, насколько трансформаторы эффективны в..