Construit entre 1932 et 1934 par l'architecte Charles Letrosne, le Grand Rocher reste une réalisation hors du commun, par son architecture et ses techniques de construction. Il était bien audacieux, en 1932, de bâtir un édifice doté d'une charpente en béton armé pour éliminer les entretoises (poutres diagonales de soutien) et résister aux effets de la dilatation. Autre originalité : l'architecte décide de recouvrir le bâtiment d'une peau de béton de
5 cm d'épaisseur, sculptée et peinte pour créer l'illusion d'une roche naturelle !

Ce Grand Rocher avait également un rôle fonctionnel. La qualité de l'eau de ville de Paris étant, à cette époque, impropre à la consommation des animaux, le parc entreprend de forer son propre puits et doit trouver le moyen d'en stocker l'eau. Deux grands réservoirs sont donc intégrés au projet : l'un d'une capacité 1300 m³, l'autre de 800 m³.

Dégradé par les intempéries et devenu dangereux pour les visiteurs qui fréquentent ses deux terrasses panoramiques, le Grand Rocher est fermé au public en 1982. Sa rénovation "à l'identique" commence en 1994. En mars 1997, il ouvre à nouveau ses portes, inauguré par les ministres de l'Education nationale, de la Recherche, de l'Environnement et par le Maire de Paris. L'intégralité de son enveloppe est retirée, la paroi rocheuse renforcée et chaque élément fidèlement reconstruit.