1. Die Beschwerde ist zulässig.
a) Die Beschwerde ist wirksam eingelegt. Sie unterliegt nicht dem Anwaltszwang.
Der in Unterhaltssachen geltende Anwaltszwang (§ 114 Abs. 1 FamFG) gilt auch für die sofortige Beschwerde gegen Kostenentscheidungen, die ohne eine Entscheidung in der Hauptsache getroffen werden (§§ 113 Abs. 1 FamFG, 91a Abs. 2 S. 1, 269 Abs. 5 S. 1 ZPO). Die sofortige Beschwerde gegen eine Kostenentscheidung kann nicht vor dem Urkundsbeamten der Geschäftsstelle erklärt werden (§ 569 Abs. 3 ZPO), so dass die für diese Erklärungen vorgesehene Ausnahme vom Anwaltszwang (§§ 114 Abs. 2 Nr. 6 FamFG, 78 Abs. 3 ZPO) nicht gilt.
Die Entscheidung über die hier angefochtene Kostenlast hängt aber davon ab, ob überhaupt ein Unterhaltsverfahren begonnen hat. Das AG hat die eingereichte Antragsschrift nach einem Verweis auf den Anwaltszwang unbearbeitet weggelegt, insbesondere nicht einem etwaigen Antragsgegner zugestellt oder formlos mitgeteilt. Für die Rechtmäßigkeit der angefochtenen Kostenentscheidung wird es darauf ankommen, ob der Beschwerdeführer den Antrag selbst wirksam einreichen konnte und welche Folgen ein etwaiger Verstoß gegen den Anwaltszwang ausgelöst hat. So, wie eine Verfahrens- oder Verfahrenshandlungsvoraussetzung als gegeben unterstellt werden muss, solange um sie gestritten wird (für die Postulationsfähigkeit: MüKo-ZPO-Toussaint, 4. Aufl., 2013, § 78 Rn 67), muss dem Beteiligten zugestanden werden, die aus dem Fehlen einer fraglichen Verfahrens- oder Verfahrenshandlungsvoraussetzung gezogenen nachteiligen Folgen ohne die auf ihr beruhenden besonderen Erschwernisse anfechten zu dürfen, damit ihm aus einer etwa fehlerhaften Beurteilung keine Nachteile im Rechtsschutz entstehen.
b) Die Beschwerde ist statthaft.
Das AG hat dem Beschwerdeführer nach dem Wortlaut des angefochtenen Beschlusses "Verfahrenskosten … auferlegt". Es hat selbst § 269 Abs. 4 ZPO für analog anwendbar gehalten. Jedenfalls hat es in einer Hauptsache weder vorher noch zugleich mit dem angefochtenen Beschluss eine Entscheidung getroffen. Für Fälle dieser Art ist die sofortige Beschwerde vorgesehen (§§ 91a Abs. 2 S. 1, 269 Abs. 5 S. 1 ZPO). Ob vor dem angefochtenen Beschluss überhaupt ein Verfahren begonnen hat, darf sich auf die Statthaftigkeit der Beschwerde nicht auswirken. Jedenfalls ist eine Entscheidung ergangen, die nach Form und Inhalt den Anschein einer verbindlichen gerichtlichen Entscheidung in einem Verfahren vermittelt. Der dadurch Beschwerte muss sie anfechten können. Er muss eine Beschwer auch – erst recht – dann beseitigen können, wenn sie außerhalb eines (Verfahrens-)Rechtsverhältnisses mit dem Anspruch auf Verbindlichkeit festgesetzt worden ist und ihr jegliche Rechtsgrundlage fehlt.
c) Die Beschwerdefrist ist gewahrt.
Die Beschwerdefrist beträgt zwei Wochen (§§ 113 Abs. 1 FamFG, 569 Abs. 1 S. 1 ZPO), wenn die angefochtene Entscheidung in einem Verfahren ergangen wäre. Diese Frist hat der Beschwerdeführer mit seinem acht Tage nach der Zustellung eingereichten Schriftsatz gewahrt. Er hat diese Erklärung nicht nur als "Beschwerde" bezeichnet, sondern auch ausgeführt, er widerspreche der ergangenen Entscheidung, und er hat begründet, weshalb er mit ihr nicht einverstanden sein könne. Nach dieser Erklärung hätte der Beschwerdeführer nicht aufgefordert werden dürfen, nochmals Beschwerde einzulegen.
d) Einer Entscheidung zur Begründetheit steht nicht entgegen, dass sich die Nichtabhilfe des AG ausdrücklich auf die zweite Erklärung des Beschwerdeführers bezieht. Ein Abhilfeverfahren ist ohnehin keine Verfahrensvoraussetzung für eine sachliche Befassung des Beschwerdegerichts (Zöller/Heßler, ZPO, 31. Aufl., 2016, § 572 Rn 4). Hier hat das AG zudem die Möglichkeit der sachlichen Selbstkontrolle wahrgenommen. Die dem angefochtenen Beschluss entgegengehaltenen Argumente hat der Beschwerdeführer in seinen beiden Erklärungen nicht verändert oder ausgetauscht. Das AG hat deutlich werden lassen, dass es bei seiner Entscheidung bleiben wolle. Nichts spricht dafür, dass es anders entschieden hätte, wenn es sich auf die erste Erklärung des Beschwerdeführers bezogen hätte.
2. Die Beschwerde ist begründet.
Der im angefochtenen Beschluss ausgesprochenen Kostenlast des Beschwerdeführers fehlt eine Rechtsgrundlage. Der Beschluss ist außerhalb eines Verfahrens ergangen.
Der Beschwerdeführer hat einen Schriftsatz eingereicht, um die Abänderung eines Unterhaltstitels zu erreichen, nämlich des zugleich vorgelegten gerichtlichen Vergleichs. Dieses Rechtsschutzziel ist im Verfahren in Unterhaltssachen zu erreichen (§ 239 FamFG). Es handelt sich um eine Familienstreitsache (§§ 111 Nr. 8, 112 Nr. 1 FamFG), in der die Beteiligten dem Anwaltszwang unterliegen (§ 114 Abs. 1 FamFG), so dass sie Verfahrenserklärungen nicht selbst vornehmen können. Die Postulationsfähigkeit ist Verfahrenshandlungsvoraussetzung. Eine ohne Postulationsfähigkeit, von dem Beteiligten selbst an das Gericht gerichtete Erklärung ist unwirksam und löst keine Rechtsfolgen im Verfa...