2
再次感谢您花时间阅读本文。XOR总是朝向0.5使用反向传播在S形神经网络C++
我知道这个问题已经被问了很多，我已经检查了许多关于这个问题的帖子：不过，我对使用反向传播的成功XOR学习的追求仍未完成。
我试着像建议的那样，调整学习速度，动量，有/没有偏见等，仍然没有成功。
网络包含2个输入神经元，2个隐藏神经元，1个输出，全部乙状结肠。 对于每个输入，输出神经元似乎总是收敛在0.5左右。
因此，我要求您为此事提供宝贵的技能。 我正在使用自制的C++库（所以我可以深入了解基础知识如何工作）。
这里是线-利益的我的代码：从隐藏的神经元
void ClOutputSigmoidNeuron::ComputeErrorGradient()
{
double wanted_output = this->m_dataset->GetNextData();
double delta = wanted_output - this->m_result_buffer;
this->m_error_gradient = delta * this->SigmoidDerivative(this->m_result_buffer);
}
得到错误衍生从输出神经元
得到错误衍生
void ClSigmoidNeuron::ComputeErrorGradient()
{
double tmpBuffer = 0.00;
for(std::size_t i=0;i<this->m_output_connections.size();i++)
{
ClNeuron* target_neuron = (ClNeuron*)m_output_connections[i]->m_target_neuron;
tmpBuffer += (target_neuron->m_error_gradient * this->m_output_connections[i]->m_weight);
}
//Get the sigmoid derivative
this->m_error_gradient = tmpBuffer * this->SigmoidDerivative(this->m_result_buffer);
}
重量更新人神经：
void ClNeuron::UpdateWeights()
{
for(std::size_t i=0;i<this->m_input_connections.size();i++)
{
double momentum = this->m_input_connections[i]->m_weight_last_delta * this->m_input_connections[i]->m_momentum_value;
double new_weight_delta = this->m_learning_rate * this->m_error_gradient * this->m_input_connections[i]->m_data + momentum ;
this->m_input_connections[i]->m_weight += new_weight_delta;
this->m_input_connections[i]->m_weight_last_delta = new_weight_delta;
this->m_input_connections[i]->m_number_of_time_updated++;
}
}
传递函数
double ClNeuron::Sigmoid(double p_value)
{
return 1.00/(1.00 + std::exp(p_value*-1.00));
}
double ClNeuron::SigmoidDerivative(double p_value)
{
double sigmoid = this->Sigmoid(p_value);
return sigmoid * (1.00 - sigmoid);
}
功能用于训练
bool ClBackPropagationSupervisedTrainer::Train()
{
for (std::size_t i = 0; i < this->m_dataset_size; i++)
{
this->m_network->Fire();
if (!this->m_network->ComputeErrorGradients())
{
std::cout << "ClBackPropagationSupervisedTrainer:Train - Oups" << std::endl;
return false;
}
this->m_network->UpdateWeights();
}
return true;
}
再次感谢您读这篇文章，我知道这个问题已经被问很多 ！ 指引我在正确的方向将不胜感激。