если модулятор сделать нормальным, то можно и синус получить (ИМХО это к оптикам).
ФНЧ, справится, но внесёт фазовый сдвиг. Компенсировать его ИМХО проще в цифре -
сумма sqrt ((IN * sin(f))^2 + (IN * cos(f))^2) должна дасть результат, не зависимый от того, насколько фазу сдвинет ФНЧ. (f - частота вращения модулятора)

И ИМХО, было бы не плохо не ФНЧ, а все же полосовй фильтр сделать. И частоту подобрать такую, чтобы не мешали лампочки (100гц с гармониками) и прочая фигня.

Вместоа ФИРа, я бы просто интегратор поставил. Это гораздо проще по ресурсам процессора. Типа

http://en.wikipedia.org/wiki/Lowpass_filter
for i from 1 to n
y[i] := y[i-1] + alpha * (x[i] - y[i-1])