Скорее всего проблема в ПО одноплатников. Там какая-нибудь ос стоит, да еще по приему байта осуществляется не только запись его в буфер, но и куча действий, которые могли бы выполняться в фоновой задаче. Эти эффекты и на настольном РС легко получить, особенно при применении всяких USB-COM. Что там за ПО и куда USB подключен? Всеж надо посмотреть что будет при максимально возможном ограничении траффика.
(«Телесистемы»: Конференция «Микроконтроллеры и их применение»)