Книжку скачали?
http://rapidshare.com/files/45943139/%20RF_Architectures_and_Digital_Signal_Processing_Aspects_of_Digital_Wireless_Transceivers_-_Nezami.rar.html

1. Непонятен блок phase_sync. Может кто-нибудь на пальцах объяснить, что там происходит?

Вычисляется аргумент комплесного числа - то есть находим фазу. Умножаем её на 4 - таким образом избавляемся от модуляции в случае QPSK. Затем переводим обратно в декартовые координаты и фильтруем скользящим средним. Далее снова вычисляем фазу и делим её на 4 чтобы получить исходную частоту. Потом идёт блок развёртывания фазы поскольку после деления у нас получилась пила по модулю 2*pi/4 а нам нужно по модулю 2*pi, этот блок представляет собой ФАПЧ с единичным коэффициентом усиления в петле, интегратор генерирует фазу по модулю 2*pi, входная фаза по модулю 2*pi/4 вычитается из фазы интегратора подстаивая его, операция mod 2*pi/4 позволяет отбросить скачки исходной фазы на 2*pi/4. Затем снова переводим сигнал в декартовые координаты с комплексным сопряжением, таким образом мы выделили комплексную синусоиду домножая на которую исходный сигнал(c задержкой на время усреднения в блоке phase_sync) мы устраняем вращение созвездия.

2. Как сделать QAM-демодулятор?

Там приведён пример демодулятора QAM.

Входной сигнал умножаю на -sin(wt) и на cos(wt).

Моделируйте в комплексном виде на нулевой частоте, так удобнее, перенос спктра тривиальная операция с ней можно разобраться отдельно.

эти 2 канала пропускаю через ФНЧ. Как расчитать ФНЧ, если символьная скорость 100бод (полоса 50 или 100Гц, я так понимаю)?

Надо пропускать сигнал через ФНЧ согласованный с формой импульса передатчика, обычно используют фильтр с характеристикой корень из приподнятого косинуса и соответственно его рассчитывают, говорить о полосе пропускания тут не совсем уместно.

Дальше я должен вычислить амплитуду(?) этого сигнала за период 10мс(?)
Как? Корень из суммы квадратов?

Что вы имеете ввиду? АРУ? Для АРУ можно и корень из суммы квадратов вычислять, можно и просто сумму квадратов. Для получения решений синфазная и квадратурная компоненты просто округляются до ближайшей точки в созвездии. Посмотрите в модельке.