Nachdem die Gründung eines Heimatmuseums 1894 vom Dr. Richard Pfeiffer angeregt und 1904 auch beschlossen worden war, stellte 1907 das Museum erstmals im Rathaus seine Schätze zur Schau. Nach einer kurzjährigen Deponierung im 3. Reich in der Synagoge wurde das Heimatmuseum 1959 für einige Jahrzehnte im Schloss untergebracht. Die auf Dauer unzulängliche Unterbringung sorgte dafür, dass der Stadtrat beschloss, die sanierungsbedürftigen Gebäude in der Neustadt 14 und 16 für das Museum zu verwenden. 1986 konnte der erste Teil in der Scheune eröffnet werden, 1996 ist das komplette Museum fertig.