При правильно написанном оверлее скорость не падает, т.к. загрузка кода ведется в фоновом режиме через ДМА. Туда же выносится и весь код инициализации, выполняемый один раз. Еще вариант - можно непосредственно выполнять код из ПЗУ, включив кэш. Ну и еще проверьте, те BF532, что я видел, реально имеют памяти как 533.