En realidad, la expresión está mal dicha porque debería decirse «El que se fue de Sevilla, perdió su silla» y su origen viene de la disputa que hubo en el siglo XV entre un tío y su sobrino al usurpar el segundo el cargo de Arzobispo de Sevilla que ostentaba su tío-abuelo Alfonso I de Fonseca, cuando éste había viajado hasta Galicia para preparar el cargo de Arzobispo de Santiago de Compostela que se le había concedido a su sobrino.
A su vuelta se encontró con el desagradable panorama de que Alfonso II de Fonseca ocupaba su lugar. Alfonso I hizo llegar su queja hasta el Papa Pío II que intervino finalmente enviando fuerza armada para reponer a su legítimo ocupante en el cargo y destituyendo a quién aprovechando la ausencia del que se había ido de Sevilla, había ocupado su silla.