梯度消失的元凶之一是傳統啟動函數（激活函數）。 想像一句話要傳過十個人。每個人都只傳一半的音量，傳到第十個幾乎聽不見了，這就是梯度消失。ReLU 的作用是讓每個人原音重現地傳下去，第十個人聽到的跟第一個一樣清楚。 Sigmoid 與 Tanh 的導數最大值分別只有 0.25 與 1，且在飽和區趨近於 0。層數一多，反向傳播時這些小於 1 的導數連乘下去，梯度就消失了。ReLU 在正區間的導數恆為 1，連乘也不會衰減，因此能讓梯度順利傳遞到深層；其變體（Leaky ReLU、ELU、GELU）進一步改善負區間神經元死亡的問題。 Sigmoid 的斜率最大只有 0.25，一層一層乘下去，訊號就被乘沒了。