У меня подобный глюк был в AT91SAM9260 (ARM9). Оказалось там есть штука под названием "Spurious Interrupt". Это какое-то особое системное прерывание, которое возникает при каких-то конфликтах на шине (точно не вспомню). Если обработчик этой хрени не задан, прога улетает по адресу 0xffffffff в режиме прерывания (как у Вас). Необходимо было сделать пустой обработчик этого прерывания - глюк пропал. Сам конфликт, вызывающий "Spurious interrupt" - несмертельный (в моем случае по крайней мере).