Megtaláltam, hátha valakit érdekel:

my_combobox.get_model().clear()

előtte így próbálkoztam:

my_combobox.clear()

de ez után nem is lehet elemeket beszúrni valamiért.