Swish функція це математична функція, що описується виразом:
- [1][2]
де β є константою або параметром, який залежить від типу моделі.
Похідна функції
.
Застосування
Застосовується в якості функції активації штучного нейрона.
У 2017 році, провівши аналіз даних ImageNet, дослідники з Google стверджували, що використання функції swish як функції активації в штучних нейронних мережах покращує продуктивність порівняно з функціями ReLU та сигмоподібної форми[1][2]. Вважається, що однією з причин покращення є те, що функція swish допомагає полегшити проблему зникаючого градієнта під час зворотного поширення[3].
Див. також
Примітки