Aber nur Engelbert, seit 1216 als Engelbert I. Erzbischof von Köln und seit 1220 Reichsverweser, konnte es wegen seiner hohen Stellung wagen, so nahe zu den kaiserlichen Pfalzen in Kaiserswerth und Duisburg die Burg bis 1222 zu einem Bollwerk ausbauen zu lassen. Dazu gehörten: ein mächtiger Bergfried, Burggraben, zwei Zugbrücken sowie  zwei weitere, deutlich kleinere Rundtürme, die die Zugänge in den Burghof sicherten. Einige Teile der heute erhaltenen Gebäude stammen noch aus dieser Zeit.

Die Burg war zeitweiliger Aufenthaltsort der Landesherren und Sitz eines der ursprünglich acht bergischen Ämter. In unruhigen Zeiten war sie ein gut zu verteidigender militärischer Stützpunkt. Sie diente als Verwaltungszentrale des Amtes Angermund, das wegen seiner Größe und Bedeutung von drei Hauptbeamten geleitet wurde: dem Amtmann, dem Richter und dem Kellner. Der Amtmann stand der Verwaltung vor, er war stets ritterlichen Geschlechts. Der Richter war nicht nur dafür verantwortlich, "jedem gebührlich Recht und Scheffenurteil gedeihen und widerfahren zu lassen", sondern hatte auch die Steuern und Gerichtsgebühren festzusetzen und darüber "Rechnung zu legen". Die Gefälle (1) waren in Getreide später in Geld zu bezahlen und wurden vom Kellner (2) eingezogen. Weil er auf der Burg amtsansässig war, wurde diese auch Kellnerei genannt und diente sozusagen als mittelalterliches bergisches Finanzamt.

Im 17. Jahrhundert bildete die Kellnerei mit der nördlich davon verlaufenden Straße (3) ein lang gezogenes, von Gräben eingeschlossenes Rechteck. 1635 wurde am nordöstlichen Zugang ein neuer Torbau errichtet. Er ersetzte den älteren Rundturm an gleicher Stelle. Der Schluss-Stein im Torbau trägt neben der Jahreszahl das Wappen der Grafschaft Ravensberg. Die Grafschaft war seit 1346 in Personalunion mit Berg, ab 1437 mit Jülich-Berg und ab 1521 mit Kleve in den Vereinigten Herzogtümer Jülich-Kleve-Berg verbunden. Nach dem Jülich-Klevischen Erbfolgestreit (1609-1614) und dem Vertrag von Xanten erhielt die Pfalz-Neuburgische Linie der Wittelsbacher das Herzogtum Jülich-Berg, während Kleve-Mark, Ravenstein und Ravensberg an die Brandenburgischen Kurfürsten fielen. Es überrascht deshalb, dass der neue Torbau der bergischen Burg 1635 noch den Schluss-Stein mit dem ravensbergischen Wappen erhielt. Hintergrund ist vermutlich die Tatsache, dass die Pfalzgrafen und brandenburgischen Kurfürsten ihre Auseinanandersetzungen um das jülich-klevische Erbe noch jahrelang fortsetzten. So ließ Friedrich Wilhelm (der Große Kurfürst) seine brandenburgischen Soldaten am 17. Juli 1651 gegen Angermund vorrücken. „Durch stätiges Kanonieren und Einwerffung großer Feuerbomben“ gelang es ihnen, die Kellnerei zu erobern. Bald darauf fand die Zusammenkunft zwischen dem Pfalzgrafen und dem Großen Kurfürsten auf freiem Feld vor Angerort statt. Am 28. August räumten die Brandenbruger die Kellnerei wieder. (4)

1716 ließ der bergische Herzog Jan Wellem den Bergfried abreißen, weil er feindliche Heerscharen immer wieder auf die Burg aufmerksam machte. Bis dahin hatten im Turm Folterungen und Hinrichtungen stattgefunden; vermeintliche Hexen wurden hier durch Folter zu Geständnissen gezwungen. Letzter Turmwächter war Konrad Reichen, genannt der Bierzapfer, dessen Nachfahren noch heute in Angermund ansässig sind. Im Jahre 1780 wurde das Herrenhaus gebaut. Danach erlebte die Kellnerei eine wechselvolle Geschichte. Bis zur Besetzung durch napoleonische Truppen blieb sie im Besitz der bergischen Herzöge. Nach dem Ende der Franzosenherrschaft wurde die Kellnerei 1815 preußisches Domänengut. Formal gehörte die seitdem nur noch landwirtschaftlich genutzte Kellnerei dem Herzogtum, Jülich, Cleve und Berg, einer erst am 30. April 1815 gebildeten preußischen Provinz.

Am 15. August 1821 kaufte der damalige Bürgermeister Ferdinand Baasel, zugleich Königlicher Rentmeister zu Angermund, die Kellnerei für 7.000 Thaler vom  preußischen Fiskus. 1833 kam die Burg in den Besitz des Grafen von Hatzfeld-Wildenburg, der sie zunächst an die Gebrüder Radmacher, dann an Albert Sonnen, von 1916 bis 1953 zwei Generationen lang an die Familie Röskes verpachtete. 1953 wurde Peter Götzen neuer Eigentümer der Kellnerei. Er betrieb darin ab 1963 zunächst eine Metzgerei, ab 1967 das Burg-Restaurant Angermund, ein Top-Restaurant, in dem man selten Angermunder traf. Zu fein, hieß es. - Mein Vater (Nicht-Angermunder) erzählte immer, dass er dort bei einem Geschäftsessen mit einem Angermunder das schärfste Pfeffer-Steak seines Lebens gegessen habe. Als in den 1970er Jahren Hofbetrieb und Gastronomie eingestellt wurden, verfiel die in schlechtem baulichen Zustand befindliche Anlage durch den Leerstand immer mehr. Ein Brand tat sein Übriges und zerstörte dabei wertvolle Stuckdecken aus dem 18. Jahrhundert. 1983 begannen Arbeiten zur Sanierung der Kellnerei. Bei der Umgestaltung zu einer modernen Wohnanlage wurden die zerstörten Stuckdecken rekonstruiert, aber auch noch erhaltene historische Bausubstanz wie zum Beispiel ein erhaltener Kamin im Nordteil des Hauptgebäudes beseitigt. Wie marode die Mauern zum Teil schon waren, zeigte sich während der Arbeiten, als die Hoffassade im mittleren Teil des Hauptgebäudes einstürzte. Sie wurde nach altem Vorbild wiederaufgebaut. Ställe und Scheunen an der West- und Südseite des Burgareals mussten modernen Gebäuden weichen. 1985 waren die Arbeiten beendet. Die Kellnerei kann als Privatbesitz heute lediglich von außen besichtigt werden. Seit dem 23. Februar 1984 steht sie als Baudenkmal unter Denkmalschutz; seit dem 21. September 1999 ist sie außerdem als Bodendenkmal geschützt.

Anmerkungen:
(1) Gefälle im Steuerwesen des Mittelalters und der frühen Neuzeit Bezeichnung für Erträge, Einkünfte und Abgaben.
(2) Als Kellner, Kellerer oder Keller (lat. cellarius) wurde der Vorsteher einer Vorratskammer (lat. cella) bezeichnet.
(3) Früher Steinweg, Kupfergasse, Adolf-Hitler-Straße, heute Graf-Engelbert-Straße.
(4) Vgl. Theo Volmert: Die Rittersitze und Schlösser an der Anger. In: Die Quecke Nr. 45, Verein Lintorfer Heimatfreunde e.V., September 1975, Seite 16