Viarmes retrouve son château médiéval

Les fouilles ont livré les vestiges d'une occupation ancienne, remontant à la période gauloise (-450 à -50) ainsi que quelques silex préhistoriques. L'essentiel des découvertes date du Moyen Âge. Un four mérovingien témoigne d'une installation artisanale liée au fumage de la viande, des sépultures indiquent l'existence, dès cette période, d'un cimetière mais il est impossible de dire s'il était déjà accompagné ou non d'un lieu de culte. Un fossé, au tracé courbe, mis au jour en bordure de la fouille, pourrait correspondre à l'enceinte d'une construction fortifiée implantée autour de l'An Mil. Cet habitat donnera ensuite naissance au château médiéval.

L'édifice du XII^e siècle, à l'époque où Viarmes était possession des familles de Pierrefonds puis des Garlande, est une robuste construction formée de larges murs en moëllons adossés à de puissants contreforts indiquant un bâtiment  élevé  (peut-être de type donjon roman?).
Il semble qu'un dispositif de franchissement oblitérant le fossé du  XI^e siècle soit présent face à deux contreforts. De la fin du XII^e et durant le XIII^e siècle, un bâtiment s'appuie contre l'édifice en bordure du fossé ; il est pourvu d'une cheminée/foyer semi-circulaire. Il est ensuite détruit par les aménagements postérieurs à la fin du XIII^e siècle et coupé par une cave moderne.
A la fin du XIII^e siècle et au début du XIV^e siècle l'acquisition du fief par Pierre de Chambly, chambellan du roi change la donne. D'importantes campagnes de construction remanient totalement  l'édifice, formant désormais un vaste ensemble architectural construit en pierre de taille, avec un corps de logis pourvu de grandes fenêtres à meneaux, de tours et de caves. Outre les vestiges fouillés, deux tours du XIII^e siècle sont encore presque entièrement conservées dans l'îlot faisant face à l'église.
Après une période de troubles, au milieu du XIV^e siècle, les défenses sont renforcées et la tour d'angle reconstruite. Le recreusement du fossé le transforme en douves, alimentées par un étang.
Le corps de logis est détruit par incendie au XV^e siècle, à la fin de la guerre de Cent-Ans. Une partie des fossés sont remblayés.

Un vaste bâtiment seigneurial a été construit à l'extérieur du fossé du château en bordure de l'actuel hôtel de ville. Il s'agit d'un ensemble exceptionnel pourvu  d'une grande cheminée, de latrines et de salles pavées de carreaux colorés et historiés. Les restes effondrés de l'étage ont livré des vitraux décorés, des peintures murales ainsi que des pavements particulièrement élaborés avec des armoiries et des décors complexes. L'une de ces armoiries, « trois coquilles d'or sur champ de gueules » permettent d'identifier les propriétaires, il s'agit des Chambly.
Au XIII^e siècle, les seigneurs de Chambly, qui évoluent dans l'entourage du comte de Beaumont, deviennent chambellans du roi de France. De Saint Louis à Louis X le Hutin, leur influence et leur richesse ne cesse de s'accroître, avant leur disgrâce sous Philippe V le Long. La construction de ce bâtiment est attribuables à Pierre V de Chambly « le Prudhomme » et à son fils, Pierre VI « le Gras », seigneurs de Viarmes et chambellans sous Philippe IV le Bel. Les troubles du milieu du XIV^e siècle vont ensuite s'avérer catastrophiques pour ce manoir non protégé par un fossé, contrairement aux fortifications adjacentes. Un incendie violent détruit le grand bâtiment seigneurial, et laisse de nombreux stigmates. Cette destruction est vraisemblablement liée à un acte guerrier. Un des scénarios possibles consiste à y voir le résultat de la grande Jacquerie de 1358.
Celle-ci, née dans le Beauvaisis, voit une révolte  anti-nobiliaire ravager le nord de l'Île-de-France et le sud de l'Oise, appuyée par les Parisiens révoltés (Étienne Marcel).
De nombreuses maisons nobles sont détruites, celle du comte de Beaumont, à Saint-Martin-du-Tertre, est notamment incendiée et le château de Beaumont-sur-Oise occupé.

Si les carreaux carrés monochromes verts et jaunes dominent, on observe aussi de très nombreux carreaux bicolores jaunes/rouges.
Certains sont de forme géométrique (écu, trilobe, étoile, carré, rectangle, rond) ce qui implique de façonner des carreaux de placements verts ou jaunes à la découpe complexe pour les insérer dans la composition d'ensemble. Les carreaux historiés présentent des motifs géométriques ou figurés : armoiries des Chambly (commande particulière), références au pouvoir royal (roi cavaliers, fleur de lys, castillon) et animaux (chiens et cerfs dans une scène de chasse, léopard, l?agneau pascal, sagittaire...).
Ces pavements ont été fabriqués dans la tuilerie de Commelles (Orry-la-Ville) qui dépend des moines de l'abbaye de Chaalis, dont le four, voûté en pierre, existe encore.
Le décor est obtenu en estampant le carreau d'une terre rouge à l'aide d'un moule en bois gravé, puis en remplissant le creux à l'aide d'une barbotine blanche, la glaçure plombifère donnant la couleur jaune.

Pierre VI de Chambly, seigneur de Viarmes, fait l'acquisition des étangs de Commelles à la fin du XIII^e siècle et fait construire le logis de Viarmes, petit château restauré dans le style troubadour au XIX^e siècle, connu sous l'appellation de « château de la reine Blanche ».