Ce que nous appelons aujourd'hui le « Palais Carli » - du nom des deux frères sculpteurs marseillais Auguste Carli (1868-1930) et François Carli (1872-1957) - est un édifice construit sous le second Empire comme « Palais des Arts ». Ce vaste bâtiment, dessiné par l'architecte Henri-Jacques Espérandieu (1829-1874), est destiné à abriter au départ l'École des Beaux-Arts et la bibliothèque municipale de Marseille d'où son nom de « Palais des Arts ».
Construit entre 1864 et 1874, l'édifice reprend en façade principale les codes de la Renaissance italienne et, dans la cour d'honneur, certains éléments de style Louis XIII, avec alternance de brique et de pierre. Avec la construction de la basilique Notre-Dame de la Garde (1853-1864), celle du Palais Longchamp (1862- 1869) et l'achèvement de la cathédrale de La Major (à partir de 1872), Henri-Jacques Espérandieu est le grand architecte du second Empire à Marseille et parmi ceux qui ont façonné le paysage architectural de la ville.
Avec la construction d'une nouvelle École des Beaux- Arts en 1969 à Luminy (architecte René Egger), le « Palais des Arts » devient disponible pour de nouvelles affectations. C'est à cette époque que la Ville décide d'y transférer le Conservatoire qui porte le nom de Pierre Barbizet - pianiste marseillais de renom et directeur du conservatoire - à titre posthume (1922-1990). Le bâtiment est classé au titre des Monuments Historiques depuis 1997.