1876 heiratet Ernst seine Kusine Mathilda Büchner (* 6. 1. 1852 in Gouda).

Mathilda Buechner mit einem ihrer Soehne

Die beiden haben zwei Kinder: Carl Büchner (* 1877) und Friedrich Wilhelm (Fritz) Büchner (*1880), beide in Pfungstadt geboren.

Carl und Fritz Buechner als Kinder

Die Ehe wird 1884 geschieden, Mathilda Büchner zieht mit den Söhnen nach Darmstadt, wo sie am 1. 4. 1908 stirbt.

In zweiter Ehe heiratet Ernst dann 1885 in Berlin Marie Ludovike Karoline (Mary) von Ferber (1850 – 1925). Aus dieser Ehe entstammt ein weiterer Sohn, Anton Büchner, der ebenfalls in Pfungstadt geboren wird.

Ernst und seine Familie leben im „Schweizer Haus“, einem „Chalet“ auf dem Gelände der Büchners in Pfungstadt (zwischen dem Herrenhaus und der Villa an der Modau gelegen). Es heißt, Wilhelm Büchner habe auch bei der Planung dieses Baus erheblichen Einfluss genommen. Leider steht das Haus nicht mehr, die Stadt Pfungstadt hat es als baufällig und unbewohnbar in den siebziger Jahren abreissen lassen.

Fritz Büchner wird Kunstmaler, baut ein Haus in Darmstadt-Eberstadt (Schillerstraße) und  hinterlässt drei Kinder, darunter Anna Mathilde Büchner (verh. Roßmann), die Mutter der drei heute lebenden Ur-Ur-Enkelinnen Wilhelm Büchners. Die Stadt Pfungstadt hat kürzlich ein Konvolut von Fritz Büchners Odenwald- und Bergstraßenbildern  angekauft.

Anton Büchner wird Lehrer und stirbt hochbetagt als pensionierter Oberstudienrat in Ingelheim. Von ihm stammt die erste gemeinsame Darstellung des Lebens seiner Großelterngeneration: „Die Familie Büchner“ (Darmstadt, Roether, 1963).