%vicevrstva sit
clc
clear all
close all

poc_vzoru = 10;
pom_in = imread('c1.bmp');
in = zeros(poc_vzoru, size(pom_in, 1) * size(pom_in, 2));

for vzor = 1:poc_vzoru           %nacteni trenovacich vzoru
    pom_in = imread(['c' num2str(vzor) '.bmp']);
    in(vzor,:) = pom_in(:);
end

out = eye(poc_vzoru)*2-1;

pocet_IN = size(in, 2);                             %pocet neuronu ve vstupni vstve
pocet_HID = 30;
pocet_HID2 = 30;                                    %pocet neuronu ve skryte vstve
pocet_OUT = size(out, 2);                            %pocet neuronu ve vystupni vstve


%inicializace vah
w0 = ones(1, pocet_IN);                            %vstupni vrstva neurony jedna jednickova vaha
w1 = (rand(pocet_IN + 1, pocet_HID)*2-1)/100;                 %skryta vrstva  vahy + prah  neurony
w2 = (rand(pocet_HID + 1, pocet_HID2)*2-1)/100;                 %vystupni vrstva  vahy + prah  neurony
w3 = (rand(pocet_HID2 + 1, pocet_OUT)*2-1)/100;


Ec = inf;                    %chyba site
alfa = 0.005;                 %koeficient uceni
iterace = 1;                 %pocet iteraci
max_iterace = 10000;          % max iteraci
Ec_it = zeros(1, max_iterace);
Ec_max = 0.1;
v0vystup = zeros(1, pocet_IN);           %vystup vstupni vrstvy
v1vystup = zeros(1, pocet_HID);         %vystup skryte vrstvy
v2vystup = zeros(1, pocet_HID2);         %vystup vystupni vrstvy
v3vystup = zeros(1, pocet_OUT);
delta1 = zeros(1, pocet_HID);           %pomocna chyba
delta2 = zeros(1, pocet_HID2);
delta3 = zeros(1, pocet_OUT);            %pomocna chyba

while (iterace < max_iterace)
    Ec = 0;
    for vzor = 1:poc_vzoru
        %vystup vstupni vrstvy
        v0vystup = w0.*in(vzor, :);
        v1vystup = tanh(([v0vystup 1] * w1));
        v2vystup = tanh(([v1vystup 1] * w2));
        v3vystup = tanh(([v2vystup 1] * w3));
        %vypocet chyby

        delta3 = out(vzor, :) - v3vystup;

        %zpetne sireni chyby
        delta2 = delta3 * w3( 1:end - 1, :)';
        delta1 = delta2 * w2( 1:end - 1, :)';

        %uprava vah
        w1 = w1 + [v0vystup 1]' * alfa * (delta1 .* (1 - v1vystup.^2));
        w2 = w2 + [v1vystup 1]' * alfa * (delta2 .* (1 - v2vystup.^2));
        w3 = w3 + [v2vystup 1]' * alfa * (delta3 .* (1 - v3vystup.^2));

        Ec = Ec + 0.5 *(delta3 * delta3');
    end
    Ec_it(iterace) =  Ec;
    if (Ec_it(iterace) < Ec_max)
        break;
    end
    iterace = iterace + 1;
end

figure
plot(Ec_it(10:iterace - 1));
Ec_it(iterace - 1)

%aktivace
obr = 5;
obr_pom = 0;
for vzor = 1:poc_vzoru
    pom_in = reshape(in(vzor, :), size(pom_in, 1), size(pom_in, 2));
    pom_test = imnoise(pom_in, 'salt & pepper', 0.3);
    m_stare(1, :) = pom_test(:);

        %vystup vstupni vrstvy,
        v0vystup = w0 .* m_stare;
        v1vystup = tanh(([v0vystup 1] * w1));
        v2vystup = tanh(([v1vystup 1] * w2));
        v3vystup = tanh(([v2vystup 1] * w3));
    % vykresleni
    if(mod(vzor - 1, obr) == 0)
        figure
        colormap(gray);
        obr_pom = 0;
    end
    obr_pom = obr_pom + 1;
    subplot(3, obr, obr_pom)
    image(pom_in * 255);
    subplot(3, obr, obr_pom + obr)
    image(pom_test * 255);
    subplot(3, obr, obr_pom  + 2 * obr)
    bar(v3vystup);
    axis('tight');
%     pom_nove = reshape(m_nove, size(pom_in, 1), size(pom_in, 2));
%     image(pom_nove * 255);

end