Dès le XII^e siècle, en particulier sous l’impulsion des Templiers, établis à proximité le quartier se construit. Dans le courant du XVII^e siècle, les futurs hôtels de Mailly et de Lazerme sont des habitations privées
Les travaux d’aménagement vont se succéder tout au long du XVII^e et du XVIII^e siècles pour agrandir la résidence qui va intégrer d’autres propriétés privées et s’étendre ainsi à tout l’îlot de maisons entre l’angle des rues de l’Ange et de Mailly et ce jusqu’à la rue du Chevalet. Une orangerie, un appartement de bains, une volière (qui donne son nom à la cour), une chapelle, une salle de musique, de nombreux salons et chambres complètent l’édifice.

A la même période, l’hôtel rue de l’Ange appartient à la marquise de Blanes. C’est l’époque des Lumières à Perpignan, le Maréchal de Mailly et la Marquise contribuent à animer la vie intellectuelle locale en tenant salon dans leurs hôtels respectifs. 
En 1836, l’hôtel de Mailly est acheté par l’Etat pour en faire le palais épiscopal. En 1827, l’hôtel donnant sur la rue de l’Ange est acquis par Joseph de Lazerme et restera dans la famille jusqu’en 1973. La demeure est modernisée. Au début du XX^e siècle, comme précédemment, plusieurs appartements sont loués à des particuliers. Ainsi le photographe Fabre s’installe après la seconde guerre mondiale. Dans les années 20, l’hôtel est le théâtre d’une vie riche culturellement construite autour de la personnalité de l’homme de lettres Carlos de Lazerme. Son fils Jacques de Lazerme en fait l’un des hauts-lieux de la Résistance. Il y reçoit de nombreux artistes, au premier rang desquels son ami Picasso. 

Après les lois de séparation de l’Eglise et de l’Etat en 1905, la ville de Perpignan décide de racheter l’hôtel de Mailly, ancien palais épiscopal. Le second étage est utilisé, dès 1914, par le conservatoire de musique puis par la cinémathèque « Institut Jean Vigo ». Depuis 1990, la plupart des espaces de l’hôtel ont été libérés.  
En 1973, le comte de Lazerme vend son hôtel particulier pour y accueillir le musée des Beaux-Arts Hyacinthe Rigaud. L’installation du musée, inauguré en 1976, a nécessité quelques réaménagements qui n’ont que peu modifié les décors et les espaces historiques.

Le projet de rénovation du musée d’art Hyacinthe Rigaud, en plus d’étendre les espaces à l’hôtel de Mailly, permet de réintégrer dans le circuit de visite toute la partie méridionale de l’hôtel de Lazerme : le jardin suspendu, la façade et le corps de logis, ainsi que l’appartement et les ateliers occupés par Picasso au second étage.