Back Propagation

W1=0.5 משקל נוכחי ברשת הוא ,

L=0.1 קצב הלמידה הוא ,

והגרדיאנט של פונקציית האובדן ביחס למשקל הוא -2

W1 חשבו את המשקל החדש של

• 0.3

• -0.2

• -0.7

• 0.7

של 0.53 (Loss) בריצה הראשונה התקבלה שגיאה

ובריצה השנייה התקבלה שגיאה של 0.543

האם ייתכן שיש שגיאה בתהליך חישוב העדכונים

?Backpropagation - ב

• לא

• לא ניתן לדעת

• כן

...פונקציית האובדן משמשת ל BackPropagation - ב

• לעדכן את המשקלים ברשת

• למדוד את השגיאה בין הפלט החזוי לפלט האמיתי

• לחשב את הגרדיאנט עבור קצב הלמידה

כמה שכבות יש ברשת המוצגת בתמונה?

• 6

• 3

• 2

יש לי רשת נוירונים ובה 2 שכבות,

יש לי 2 נוירונים L1-ב

• יש לי נוירון 1 L2-ב

• כמה דלתאות יהיו לי?

• יםINPUT-תלוי בכמות ה

• 2

• 3

Y=1 , X1=1, X2=-1 ברשת נוירונים נתון לי
P על J מה תהיה הגזירה של

• -(log(p))

• -(log(1-p))

• 1/1-P

• -1/P