Так это простой пример. Он делается сетью с одним уровнем. Вторым уровнем уже можно сделать правило "разница между пикселями X1 и X2 больше, чем среднее между пикселями X3 и X4". И таки да, такого уровня сети уже могут натренироваться уверенно распознавать и с поворотом, и с любого угла, и с голубем посреди кадра :-)
Я только что баловался с сетью, распознающей рукописные цифры. Реально в шоке, как она это распознаёт - а вот распознаёт как-то. При том, что у меня есть и структура сети, и все её веса-коэффициенты. То есть, я могу на бумажке сам всё посчитать, проследить, и получить тот же правильный результат.