Erbaut wurde das Schlössli von Carl Franz Bally in den Jahren 1864/65. Er wünschte sich neben seiner Villa «Felsgarten» ein extravagantes Gartenhäuschen. Die Pläne dafür lies er vom Karlsruher Architekten Jakob Gottfried Octavian Schönberger (1828 bis 1897) zeichnen. Vom Dach des kleinen Belvedere-Turmes, der auf einem Sockel aus Natursteinquadern in der Gartenanlage der ehemaligen Villa «Felsgarten » steht, geniesst man einen herrlichen Ausblick über das Aaretal, von hier aus konnte Carl Franz Bally aber auch seine gesamte Fabriklandschaft überblicken. Mitte der 80er Jahre wurde die kunsthistorische Bedeutung des verspielten Bauwerks erkannt, und es wurde 1988 unter kantonalen Denkmalschutz gestellt. Im Zusammenhang mit der Renovation (1988 bis 1994) wurde es 1994 zum Denkmal von nationaler Bedeutung erklärt.

Das im Stil englischer Gotik erbaute Schlössli umfasst einen einzigen Raum und lebt äusserlich vor allem von der verspielten Silhouette des achteckigen Turmes und des Zinnenkranzes. Obwohl solche dekorative Bauwerke damals dem Zeitgeschmack entsprachen, ist das Schlössli heute zwischen Bern und Zürich das einzige in seiner Substanz noch erhaltene. Erstaunlich ist die Vielfalt der Materialien, mit welchen das Schlösschen erbaut worden ist: Neben Jurakalkstein wurden Natursteine aus dem Elsass, Portland-Zement, damals noch aus Frankreich importiert, oberrheinischer Sandstein und, für die Zinnen, Graugussplatten verwendet. Der Sandstein wurde munter mit dem neuartigen Zement kombiniert. Auf der Terrasse fanden sich Keramikplatten, welche zwischen 1869 und 1874 von Villeroy & Boch im badischen Mettlach produziert worden waren. Die Kassettendecke mit Dekorationsmalerei im Innenraum ist vom Dekorationsmaler J. Wildermuth signiert und 1865 datiert. Das Schlössli ist aus Sicherheitsgründen dem Publikum nicht zugänglich.

Dr. Paul Weber