Well ... in mod normal, alea sunt desenate standard de Windows. Singura solutie care o stiu pentru a evita lucrul asta este sa-ti derivezi propriul tau tip de buton (un TColorButton, sa zicem) si sa iti faci cod care sa raspunda la evenimentul CN_DRAWITEM si sa-ti faca butonul de culoarea specificata de tine.
Easy as pie

(desi nu foarte greu, e cu un pic de bataie de cap)
O alta solutie (mai rapida) ar fi sa pui SpeedButton-uri pe un TPanel colorat in ce culoare vrei si sa setezi proprietatea Flat (de la SpeedButton) pe True.
Daca tii mortis la componenta ta (si faci cinste cu vreo lada de bere sau ... un laptop

), o sa vad ce pot face legat de asta (desi asta nu se va intampla mai devreme de sambata).