Le premier véritable observatoire toulousain a vu le jour en 1734. Le 23 juillet de cette année l'Académie des Sciences obtient des autorités municipales la jouissance " d'une tour qui est à la descente des Pénitents Noirs ". Le seul plan d'ensemble représentant ce bâtiment a été réalisé par Joseph-Marie de Saget en 1750 ; l'observatoire y est situé à l'angle de l'actuel boulevard Carnot et de la rue du rempart Saint-Etienne.
L'édifice, ancienne porte de ville, se présente comme une tour carrée d'un étage. Elle subit plusieurs aménagements successifs : le percement de quatre fenêtres sur chaque côté de la salle du haut ainsi qu'une porte à laquelle on accède par une échelle, l'élévation d'un étage supplémentaire où toutes les fenêtres sont agrémentées d'un balcon pour faciliter les observations, et l'utilisation de la tour ronde voisine comme annexe et entrepôt.
Le site permet aux astronomes d'effectuer un certain nombre d'observations, comme celle de l'éclipse de soleil de 1748. Malheureusement le mauvais état chronique du bâtiment nécessite de nombreuses réparations, et l'effondrement du rempart contigu en compromet définitivement l'utilisation. Ainsi, au cours de sa brève existence, de 1734 à 1751, la tour de l'Académie aura davantage été un projet d'observatoire, qu'un véritable édifice adapté aux besoins et exigences de la science astronomique.