"De amúgy mi az ami ennyire visszafogja a teljesítményt a drivereken/ os en keresztül?"

az, hogy az os definial egy virtualis hardvert, ennek adja a parancsokat.
a driver os fele nezo resze fogadja ezeket a parancsokat, es atforgatja az alatta levo hwnek. ez egy kis teljesitmenyvesztessel oke, mert a vasakat probaljak ugy tervezni, hogy nagyjabol megfeleljen a virtualis reteg igenyeinek.
viszont egy ido utan elavul, mert nem koveti le a hw fejlodeset, olyankor mar korlatozza az elerheto teljesitmenyt. lasd pl. a dx11 -ben az egyszerre kiadhato rajzolasi parancsok maximuma, ami ellen kezdett lazadozni az AMD, aztan jott is a DX12.