Die Beschwerde der Beklagten hat keinen Erfolg.
1. Sie ist allerdings als Gegenvorstellung statthaft. Gegen die Festsetzung des Gegenstandswerts des Rechtsbeschwerdeverfahrens durch den BGH findet nach §§ 68 Abs. 1 S. 5, 66 Abs. 3 S. 3 GKG zwar keine Beschwerde statt. Statthaft ist aber die Gegenvorstellung, wenn, wie hier, der Gegenstandswert nach § 63 Abs. 3 GKG auch von Amts wegen geändert werden könnte (BGH, Beschl. v. 29.6.2011 – XII ZB 113/11, FamFR 2011, 423). Als solche ist die eingelegte Beschwerde auszulegen.
2. Sie ist indes unbegründet.
Der Gegenstandswert des Rechtsbeschwerdeverfahrens ist zutreffend festgesetzt. Ein Grund, ihn höher anzusetzen als den Wert des erledigten Rechtsstreits, besteht nicht. Er ergibt sich auch nicht daraus, dass der vor dem AG geschlossene Vergleich einen beträchtlichen Mehrwert hat.
a) Der Wert eines Rechtsstreits über die Wirksamkeit eines Prozessvergleichs bestimmt sich grundsätzlich nicht nach dem Wert des Vergleichs, sondern nach dem Wert der ursprünglich gestellten Anträge (Senat, Beschl. v. 8.2.2007 – V ZR 160/06, RVGreport 2007, 158; BGH, Beschl. v. 30.9.1964 – Ib ZR 215/62, KostRsp. ZPO § 3 Nr. 119; LAG Düsseldorf MDR 2000, 1099; Musielak/Heinrich, ZPO, 9. Aufl., § 3 Rn 32 Stichwort Prozessvergleich; Prütting/Gehrlein/Gehle, ZPO, 4. Aufl., § 3 Rn 224; Stein/Jonas/Roth, ZPO, 22. Aufl., § 3 Rn 68 Stichwort Vergleich [Wert bei Fortsetzung des Verfahrens]; wohl auch: Zöller/Herget, ZPO, 29. Aufl., § 3 Rn 16 Stichwort Vergleich; offengelassen in BGH, Beschl. v. 14.2.2007 – XII ZB 52/03, FamRZ 2007, 630). Etwas anderes gilt nur, wenn die Anfechtung des Vergleichs den Rechtsstreit nicht auf den ursprünglichen Streitstand zurückführt, sondern einen bereits erzielten Teilerfolg bestehen lässt. Dann kommt es auf das noch verbleibende Interesse an (Senat, Beschl. v. 8.2.2007 – V ZR 160/06, RVGreport 2007, 158). Das (den Wert des ursprünglichen Rechtsstreits übersteigende) Interesse an der Wirksamkeit des Vergleichs (für dessen Relevanz: OLG Saarbrücken JurBüro 1990, 97; OLG Bamberg JurBüro 1998, 541; OLG Frankfurt/M. OLGR 2004, 122) oder der Wert des Vergleichs (so: MüKo-ZPO/Wöstmann, 3. Aufl., § 3 Rn 127) ist nur maßgeblich, wenn neben der Fortsetzung des ursprünglichen Rechtsstreits nach § 256 Abs. 2 ZPO auch die Feststellung der Wirksamkeit des Vergleichs beantragt wird.
b) Hier hing der Ausgang des nach der Anfechtung des Vergleichs fortgesetzten Rechtsstreits zwar inhaltlich von der Frage ab, ob der Vergleich wirksam ist. Gegenstand des fortgesetzten Rechtsstreits war aber nicht ein Antrag auf Feststellung der Wirksamkeit des Vergleichs, sondern ein Antrag auf Feststellung der Erledigung des Rechtsstreits durch den Vergleich. Dessen Wert bestimmt sich nicht nach dem Wert des Vergleichs, sondern nach dem Wert des erledigten Rechtsstreits. Daran orientiert sich die Wertfestsetzung durch den Senat.
c) Der Wert erhöht sich auch nicht deshalb, weil der Kläger in der Berufungsbegründung beantragt hat festzustellen, dass der Vergleich unwirksam ist. Bei diesem Antrag handelte es sich um einen Hilfsantrag, der nach §§ 47 Abs. 1 S. 1, 45 Abs. 1 S. 2 GKG zu einer Erhöhung des Gegenstandswerts nur führt, soweit eine Entscheidung über ihn ergeht. Daran fehlt es. Das Berufungsgericht hat mit der Verwerfung der Berufung allein die Entscheidung des AG bestätigt, welche nur die Erledigung des Ausgangsrechtsstreits zum Gegenstand hat. Zu einer Entscheidung über den Feststellungsantrag ist es auch im Rechtsbeschwerdeverfahren vor dem Senat nicht gekommen. Dessen Gegenstand war nur die Frage, ob die Verwerfung der Berufung durch das Berufungsgericht zu beanstanden ist. Auch damit ist über den Hilfsantrag des Klägers, die Unwirksamkeit des Vergleichs festzustellen, nicht entschieden.