Исправь тактовую чатоту на 1777777. А не дёргаться оно не может, ввиду разной частоты обновления экрана у Апогея и реального (твоего) компьютера (если, конечно, в демке есть синхронизация с обратным ходом луча).
В полноэкранном режиме меньше дёргается, но изображение "смазано", т.к. обновляется с частотой 60Гц, а надо 50Гц.