Fils de l'une des plus riches familles de la grande bourgeoisie rouennaise et lui-même grand armateur et marchand, le commanditaire de ce château, Jacques Le Pelletier, acquiert en 1482 le fief de Martainville , vaste à ce moment de 25 hectares. La date de 1485 gravée sur la clef d'une fenêtre de la tour sud-est ne précise pas la date de la construction mais celle du premier aveu rendu par un Le Pelletier au suzerain dont dépendait le fief de Martainville, l'abbaye de Saint-Ouen de Rouen. L'élection comme conseiller-échevin de la ville de Rouen en 1493 marque l'apogée de la carrière de Jacques Le Pelletier, qui dût entreprendre la construction peu après.

C'est, à l'origine, un domaine dont l'entrée se faisait uniquement par le nord, dans une basse-cour axée est-ouest, où se dressent encore les anciens bâtiments de dépendance adossés aux murs de clôture nord et sud : maison du métayer, écuries, granges, pressoir, bergeries. Si les bâtiments furent reconstruits ou modifiés, la disposition générale reste primitive : le colombier de la fin du XVe ou du début du XVIe siècle (le profil du bandeau médian est gothique), situé à l’extrémité occidentale de l’enclos, atteste par sa place l’étendue de la basse-cour. Celle-ci commandait, à l’est, une seconde cour plus petite et grossièrement carrée (42 x 40 m), fermée de hauts murs crénelés, cantonnée de quatre tourelles et occupée en son centre par le château. Au-delà, un vaste jardin était commandé par la cour du logis.

Dressé au centre de son propre enclos et bordé par un fossé, le logis de plan massé rectangulaire, couvert d’un toit en pavillon, est cantonné aux quatre coins de grosses tours aux toitures coniques. Le sommet des tours était muni de consoles, aujourd'hui disparues mais dont subsistent encore les pierres, sciées, qui évoquaient les mâchicoulis des châteaux forts. Construit en briques cuites sur place et en pierres blanches venues des carrières de Vernon, on relève sur l'appareillage une savante inclusion décorative de briques vernissées noires disposées en cœur, en croix, en losanges.