Без кондеров он у тебя работает в последовательном резонансе, в котором кварц имеет минимальное сопротивление, соответственно увеличивается ток через него, что приводит к быстрой деградации кварца.... Лучше подбери конденсаторы.
(«Телесистемы»: Конференция «Микроконтроллеры и их применение»)