请问关于前馈网络线性可分的问题
书上说非线性可分问题,加入一个隐层,将输入映射到另外一个空间,就有可能成为线性可分问题。
假设输入向量为x(i), 输出向量为y(j), 阀值向量v(j), 单层网络权矩阵w(i*j),
y = f(x*w + v)
加入一个隐层,设隐层输出向量为z(k), 输入层到隐层权矩阵w1(i*k), 隐层阀值向量v1(k), 隐层到输出层权矩阵w2(k*j), 输出层阀值向量v2(j)
z = f1(x*w1 + v1)
y = f2(z*w2 + v2) = f2(f1(x*w1 + v1)*w2 + v2)
如果选激活函数f1为线性函数,f1(x) = k*x
f1(x*w1+v1)*w2 = x*f1(w1)*w2+f1(v1)*w2,
y = f2(x*f1(w1)*w2 + f1(v1)*w2+v2)
w1是i*k的矩阵,w2是k*i的矩阵,v1是k维向量,v2是j维向量
f1(w1)*w2得到一个i*j的矩阵,f1(v1)*w2得到j维向量,f1(v1)*w2+v2可以写到一起, 形成:
y = f2(x*w ' + v ') w '(i*j) = f1(w1) * w2, v '(j) = f1(v1)*w2+v2
还是单层网络的样子.. 怎样增强的分类能力?
不知道我这里的理解哪里有错误?是否是激活函数不能选线性函数?
[解决办法]
如果楼上学过高等代数则可以这么想:如果激活函数是线性的,则神经网络在本质上可以看成一个线性变换器
一个在低维情况下的不可分问题在高维下就可能会变的可分.
线性变换在本质上其实可以逼近任何非线性函数
[解决办法]
不明LZ在说什么
[解决办法]
[解决办法]
不知,帮顶