Делал аналог FX614. Не поделюсь. Проекты c AVRFreaks не смотрел. В декодере использовал гипотезу, что всё, что не ноль (более высокая частота) есть единица и проводил обнаружение - свёртка и адаптивные пороги из-за разной длительности переходов. Передачу делал типа DDS, но в ATmega88 какая-то глупая буферизация PWM (они правда пишут, что это не баг, а фича), потому пришлось наложить программно фазовую синхронизацию вывода.

http://garydion.com/projects/whereavr/
http://www.geocities.com/SiliconValley/Way/5807/dat.html
http://www.sxlist.com/images/sxlist/AN8_fsk_detect.pdf
http://nexus.ay.com.au/junk/SX52/AN9_fsk_gen.pdf
http://www.wj.com/documents/Tech_Notes_Archived/FSK_signals_demod.pdf