首页 > Python资料 博客日记
PyTorch学习笔记:nn.LeakyReLU——LeakyReLU激活函数
2024-03-10 04:00:05Python资料围观228次
PyTorch学习笔记:nn.LeakyReLU——LeakyReLU激活函数
功能:逐元素对数据应用如下函数公式进行激活
LeakyReLU
(
x
)
=
max
(
0
,
x
)
+
α
∗
min
(
0
,
x
)
\text{LeakyReLU}(x)=\max(0,x)+\alpha*\min(0,x)
LeakyReLU(x)=max(0,x)+α∗min(0,x)
或者
LeakyReLU
(
x
)
=
{
x
,
i
f
x
≥
0
α
×
x
,
otherwise
\begin{aligned} \text{LeakyReLU}(x)= \left\{ \begin{matrix} x,\quad &if\quad x≥0 \\ \alpha\times x,\quad &\text{otherwise} \end{matrix} \right. \end{aligned}
LeakyReLU(x)={x,α×x,ifx≥0otherwise
该函数相比于ReLU,保留了一些负轴的值,缓解了激活值过小而导致神经元参数无法更新的问题,其中
α
\alpha
α默认0.01。
函数图像:
输入:
negative_slope
:控制负激活值的斜率,默认1e-2inplace
:是否改变输入数据,如果设置为True
,则会直接修改输入数据;如果设置为False
,则不对输入数据做修改
注意:
- 输出数据与输入数据尺寸相同
代码案例
与ReLU做比较
import torch.nn as nn
import torch
LeakyReLU = nn.LeakyReLU(negative_slope=5e-2)
ReLU = nn.ReLU()
x = torch.randn(10)
value = ReLU(x)
value_l = LeakyReLU(x)
print(x)
print(value)
print(value_l)
输出
# 输入
tensor([ 0.1820, -0.4248, -0.9135, 0.1136, -1.0147, -0.5044, 0.1361, 0.0744,
1.3379, -1.1290])
# ReLU
tensor([0.1820, 0.0000, 0.0000, 0.1136, 0.0000, 0.0000, 0.1361, 0.0744, 1.3379,
0.0000])
# LeakyReLU
tensor([ 0.1820, -0.0212, -0.0457, 0.1136, -0.0507, -0.0252, 0.1361, 0.0744,
1.3379, -0.0564])
注:绘图程序
import torch.nn as nn
import torch
import numpy as np
import matplotlib.pyplot as plt
LeakyReLU = nn.LeakyReLU(negative_slope=5e-2)
x = torch.from_numpy(np.linspace(-3,3,100))
value = LeakyReLU(x)
plt.plot(x, value)
plt.savefig('LeakyReLU.jpg')
官方文档
nn.LeakyReLU:https://pytorch.org/docs/stable/generated/torch.nn.LeakyReLU.html#torch.nn.LeakyReLU
初步完稿于:2022年2月16日
标签:
相关文章
最新发布
- 【Python】selenium安装+Microsoft Edge驱动器下载配置流程
- Python 中自动打开网页并点击[自动化脚本],Selenium
- Anaconda基础使用
- 【Python】成功解决 TypeError: ‘<‘ not supported between instances of ‘str’ and ‘int’
- manim边学边做--三维的点和线
- CPython是最常用的Python解释器之一,也是Python官方实现。它是用C语言编写的,旨在提供一个高效且易于使用的Python解释器。
- Anaconda安装配置Jupyter(2024最新版)
- Python中读取Excel最快的几种方法!
- Python某城市美食商家爬虫数据可视化分析和推荐查询系统毕业设计论文开题报告
- 如何使用 Python 批量检测和转换 JSONL 文件编码为 UTF-8
点击排行
- 版本匹配指南:Numpy版本和Python版本的对应关系
- 版本匹配指南:PyTorch版本、torchvision 版本和Python版本的对应关系
- Python 可视化 web 神器:streamlit、Gradio、dash、nicegui;低代码 Python Web 框架:PyWebIO
- 相关性分析——Pearson相关系数+热力图(附data和Python完整代码)
- Python与PyTorch的版本对应
- Anaconda版本和Python版本对应关系(持续更新...)
- Python pyinstaller打包exe最完整教程
- Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based proj