La création de l'Observatoire de Jolimont est le fruit de l'acharnement de Frédéric Petit. Soutenu par son maître François Arago, il est nommé directeur en 1738 ; choqué par la vétusté de l'établissement de la rue des Fleurs, il demande au Conseil Municipal la construction d'un nouvel édifice répondant aux exigences de la science des astres.
Le projet est confié à l'architecte de la ville Urbain Vitry, sous l'étroite surveillance des deux astronomes. Les travaux vont durer près de sept ans, retardés par des conditions climatiques difficiles, et des délais de construction sans cesse repoussés.

Finalement, Frédéric Petit prend totalement possession des lieux en 1846. Grâce à ses liens personnels avec Arago, il obtient des instruments de grandes valeurs pour équiper son établissement. Cependant l'Observatoire de Toulouse ne bénéficie pas d'un soutient politique et financier suffisant pour devenir une institution de référence.
Avec l'avènement de la IIIème République et l'arrivée de Benjamin Baillaud, en 1878, la situation va évoluer. L'instrumentation est revue : l'antique monture en bois du télescope de 80 cm - acquis trois ans plus tôt - est remplacée par une monture métallique plus stable, un équatorial de Brünner est installé en 1880, et l'année suivante un bâtiment est érigé pour recevoir une lunette méridienne construite par Paul Gautier. En quelques années Jolimont devient un établissement qui rayonne au-delà des frontières de la France.