В XST User Guide -> HDL Coding Techniques -> RAMs and ROMs -> Initializing RAM описано как инициализировать RAM из файла. Так вот надо соблюсти все ограничения что описаны в главе VHDL Language Support -> File Type Support и использовать только функции из таблицы 6-1 Supported File Types. И если указывать имя файла с относительным путём к нему то XST ищет его относительно исходника, а ModelSim относительно директория проекта.