ea-13

Bizonyos feladatok esetén az egymást követő input vektorok nem [], pl. időbeli sorozatok esetén

• kapcsolódnak

• normalizáltak

• eltérőek

• függetlenek

Speciális [] fel tudjuk használni a korábbi inputot is az aktuális input felismerése során

• tanítással

• hálóstruktúrákkal

• aggregálással

• előfeldolgozással

Kiterjeszthetjük az inputot, hogy több egymás utáni vektort tartalmazzon, de ekkor nagyon [] az input réteg []

• lecsökken - mérete

• megnőhet - mérete

• kevés lesz - tartalma

• zajos lesz - tartalma

Használhatunk TDNN-t, ami továbbra is előrecsatolt hálózat, a [] háló egy speciális változata

• rekurrens

• konvolúciós

• GRN

• transformer

A rekurrens hálók tanítása nehézkes, ezért speciális változatai vannak, pl. ..., amelyek hatékonyabban modellezik a hosszú távú összefüggéseket

• Transformer

• LSTM

• RNN

• GRU

A transformerek architektúra főbb komponensei:

• Positional encoding

• Multi-head attention

• Self-attention

• encoder-decoder