Попробуйте обнулить УЖЕ СТОЯЩИЙ бит PORT_INVEN_bm с помощью задания аргумента функции invIO = 0;
Рег. PIN0CTRL: SRLEN[7], INVEN[6], OPC[5,4,3], ISC[2,1,0]
bool QDEC_Port_Setup(PORT_t * qPort, uint8_t qPin, bool useIndex, bool invIO)
{
....
qPort->PIN0CTRL = (qPort->PIN0CTRL & ~PORT_ISC_gm) | PORT_ISC_BOTHEDGES_gc | (invIO ? PORT_INVEN_bm : 0);
....
}