1. Ретайминг всегда выделяет первые 9 бит после старт-бита. Форматы, которые можно передавать с ретаймингом, приведены в таблице в разделе 1.5.8. Ретайминг я не использовал, в таком режиме можно передавать любое количество бит.

2. Цена мне показалась нормальной, учитывая то, что внутри микросхемы не только FSK декодер, но и фильтры, а также кусок аналоговой части. Достаточно добавить схему на сдвоенном ОУ, получается полный интерфейс слинией. Чтобы программно получить такую же помехоустойчивость, которую обеспечивает FX604, нужно постараться. По ссылке в этом форуме есть пост о программной реализации.