Vielen Dank für eure Hinweise! 
Aktueller Stand: Bei Verwendung von Asio4all haben der eingeschaltete Hardware-Puffer, 6-point Hermite Resampling und das aktivierte "Mix in buffer switch" extrem geholfen. Bei diesem einfachen Projekt konnte ich schon ein paarmal auf 64 Samples = 2 ms runtergehen ohne hörbare Aussetzer, bei manchen Durchgängen waren welche da. Der rote Bereich beginnt nun auch viel später, erst bei ca. 80% CPU-Auslastung.
