Bereits zu Beginn des 15. Jahrhunderts ließ Herzog Friedrich IV. Grundstücke nahe der Innsbrucker Hofburg erwerben, um hier Nutz- und Ziergärten für den Hof anzulegen. Während der Regierung Erzherzog Ferdinands II. wurde dann ab 1564 unter Einbeziehung der alten Nutz- und Ziergärten eine prachtvolle Gartenanlage mit dem Schloss Ruhelust und weiteren Gebäuden angelegt. Nach dem Vorbild italienischer Renaissancegärten entstanden einzelne Gartenbereiche mit Brunnen, Laubengängen, Lusthäusern, Irrgarten und Fasangarten.
Dieser ersten Blüte folgte im 17. Jahrhundert eine Zeit der Vernachlässigung. 1636 zerstörte ein Feuer einen Teil der Gebäude. Aufgrund von Sparmaßnahmen nach dem Dreißigjährigen Krieg wurden die Gärten an der Hofburg schließlich kaum mehr gepflegt. 1665 erlosch mit dem Tod Sigismund Franz von Habsburg die Tiroler Linie der Habsburger. Innsbruck wurde fortan durch einen kaiserlichen Gouverneur regiert. Der Hofgarten diente nun als Nutzgarten.
Erst am Ende der Regierung von Kaiser Franz I. Stephan und Maria Theresia erlebte der Innsbrucker Hofgarten eine neue Blüte. Ab 1763 wurde die vorhandene Fläche als barocker Lustgarten angelegt. Ein Achsenkreuz gliederte den Garten. Im Schnittpunkt von Haupt- und Querachse lag das bereits 1733 errichtete kaiserliche Lusthaus, das 1773 zum Musikpavillon umgebaut wurde. Den von einer Mauer umgebenen Garten zierten Parterres, Rondelle, Alleen, Brunnen und Skulpturen. In der Nähe der Hofburg befand sich ein Orangeriegebäude, Richtung Inn lag der kleine Hofgarten oder Gouverneursgarten.
Als die Grafschaft Tirol 1805 in Folge der Napoleonischen Kriegen an das Königreich Bayern fiel, wurde der Hofgarten Innsbruck der Hofgartenintendanz in München unterstellt. Der dortige Hofgartenintendant Friedrich Ludwig von Sckell, der bereits die barocken Gärten in Schwetzingen und in Nymphenburg landschaftlich umgestaltet hatte, plante nun auch eine Modernisierung des Innsbrucker Hofgartens. Er legte bereits 1810 eine „Vorläufige Skizze zu einer neuen natürlichen Garten-Anlage“ vor. Die Fläche des Hofgartens sollte weit nach Norden vergrößert und die Gartenmauer abgetragen werden. Sckell plante, das regelmäßige Achsenkreuz aufzulösen, malerische Baumgruppen anzupflanzen, großzügige Wiesenflächen mit langen Sichtachsen, einen natürlichen Bachlauf und einen sanft geschwungenen Beltwalk anzulegen. Der Musikpavillon im Zentrum des Gartens sollte erhalten und ein neues Orangeriegebäude errichtet werden, Gouverneursgarten und Rennplatz unverändert erhalten bleiben. Bis zum Ende der bayrischen Regierung in Tirol im Jahr 1815 wurden diese Pläne nicht realisiert.
Stattdessen wurde 1842 der Garten durch den Bau der Rennbahnstraße von der Hofburg abgeschnitten und in zwei Bereiche geteilt. Der Gouverneursgarten fiel dem Straßenbau zum Opfer. Ab 1857 erfolgte dann die landschaftliche Umgestaltung, jedoch nicht im malerischen Stil Friedrich Ludwig von Sckells, sondern nun dem Zeitgeschmack der Mitte des 19. Jahrhunderts entsprechend mit einer kleinteiligeren Wegeführung und zahlreichen ovalen Blumenbeeten im Bereich der Wegekreuzungen. Im Zuge dieser Umgestaltungen wurde am nordwestlichen Rand des Gartens ein Glashaus errichtet.
Trotz einiger Flächenverluste und baulicher Veränderungen blieb der Hofgarten weitestgehend bis heute in seiner landschaftlichen Gestaltung erhalten. 1964 wurde an der Stelle des Glashauses das Palmenhaus errichtet, in dem ein Teil der Botanischen Sammlung der Österreichischen Bundesgärten kultiviert wird.
Der Hofgarten Innsbruck steht seit 2001 als Gartendenkmal unter Denkmalschutz.