STDP 기반 Spiking Neural Network(SNN)를 강화학습 환경에 적용할 때, 시냅스 업데이트를 조절하는 dopamine-like learning signal의 설계가 학습 성능과 안정성에 미치는 영향을 비교 분석하였다. CartPole-v1 환경에서 SNN이 직접 행동을 선택하는 actor 구조를 구성하고, R-STDP, Episodic R-STDP, TD-STDP Actor-Critic, PPO-modulated TD-STDP를 동일한 SNN 구조에서 비교하였다. 실험 결과, step-wise reward 기반 R-STDP는 낮은 성능에 정체된 반면, episode-level 신호를 사용하는 Episodic R-STDP는 향상된 성능을 보였다. TD-STDP Actor-Critic은 빠른 학습을 보였으나 후반 변동성이 나타났고, PPO-modulated TD-STDP는 clipped advantage를 통해 상대적으로 안정적인 학습 경향을 보였다. 이는 STDP-SNN 강화학습에서 dopamine-like learning signal의 시간 범위와 안정화 방식이 중요한 설계 요소임을 보여준다.