2015년 논문. 실제 논문에서는 BRION을 사용했지만 Bindsnet을 사용해서 구현했다. 파이토치기반 SNN 패키지.
하나의 레이어. lateral inhibition을 구현했고 STDP학습룰을 사용했으며 unsupervised이다.
싱글레이어 뉴런이 있다고 하면 어떤 숫자를 보여주었을때 특정 뉴런이 유독 fire를 많이 할 것이다. selectivity가 있다고 했다. orientation selectivity라고 하면 특정 방향, 자극에만 유독 fire하는 발생 원리가 lateral inhibition을 포함한다고 했다.
잘 학습되었다고 가정했을때, 7을 보여주면 유독 저 뉴런이 많이 fire, 4를 보여주면 다른 뉴런이 유독 많이 fire하게 된다. 이런식으로 selectivity가 발생한다고 가정을 했다. 각 각 뉴런을 보고 할당을 한다. 학습자체는 unsupervised이지만 해석은 Rate coded 모델로 진행을 한다.
네트워크에 6400 흥분성(excitatory)뉴런을 배치하고 같은수의 inhibitory뉴런을 배치해서 총 12800개.
중요하게 보는것은 excitatory뉴런. 학습이 되는 뉴런이기 때문.
6400개의 뉴런을 사용해서 6만번의 학습을 진행했을때 95%의 정확도를 보인다. 발표자는 컴퓨테이션 파워가 모잘라서 100개의 뉴런만 사용해서 4천개의 이미지를 사용해서 정확도가 떨어지긴한다.
이렇게까지 연산이 오래걸리는 이유는, SNN의 특징때문. 딥러닝은 이미지를 한번 보여주고 끝이지만, SNN은 한 자극을 오랫동안 노출시켜야 된다. 한 이미지당 250ms, 한 타임스텝을 1ms라고 가정을 했을때, 250번 노출시켜야 된다는 말이고, 그 대신 딥러닝과는 다른 몇가지 장점이 있다.
라벨/두가지 서로다른/ prediction
학습이 어떻게 잘되었는지를 띁어보면, 오른쪽 위 매트릭스는 250ms동안 몇번 뉴런이 fire했는지 보는 매트릭스.
100개중 오직 2개만 fire한 selectivity가 관측이 되었다.
각 뉴런들의 의미가 뭐냐. 3번 뉴런은 9에 주로 fire, 6번 뉴런은 7에 주로 fire했다. 다른 뉴런은 fire하지 않았다. 이런식으로 학습이 진행된다.
몇 가지 고급주제.
Feature Binding 문제는 인지과학에서 오랜 난제.