Дополнительно - посмотрите ниже, я писал Вам вчера, правда с опечатками:-). Суть написанного - если используется к-т связи частот в виде ctg(pi/Qa) (Ваши обозначения), то нужно использовать
передаточную ф-ю с нормированной лапласовской переменной. Она элементарно получается из обычной передаточной ф-ии, с ненормированной переменной, путем умножения всех к-тов при p на 2pi*f0 в степени, равной степени p. Т.е. в Вашем случае пер. ф-ия
будет с нормированной переменной будет такая: (b*p+1)/(b*b*p*p+b*p+1),
b=k*2pi*f0. С такой передаточной ф-ей к-т связи=ctg(pi/Qa).
Если же использовать пер. ф-ю с ненормированной переменной,т.е. (k*p+1)/(k*k*p*p+k*p+1),то к-т связи будет другим, равным: 2pi*f0*ctg(pi/Qa).

Не обязательно вместо f0 брать частоту среза, возьмите любую рядышком, которая хорошо считается или определяется точно по графику (только не нулевую :-)). У Вас частота дискретизации слишком большая, чтобы опасаться заметных искажений ЧХ в интересующей области.

И еще обратите внимание на к-т усиления цифрового фильтра, B, в том моем сообщении.