Seguramente el positivo sea directo y el negativo el que pasa por el interruptor y al ser led, la pequeña corriente residual, hace que se encienda.

Si pruebas con una bombilla normal, no debería pasarte.

Solución: puedes poner una resistencia pequeña, en paralelo con la bombilla, que se "comerá" esa corriente residual