Lze předpokládat, že první častolovický mlýn stával v místech, kde později vyrostl pivovar. Pravděpodobně v době Pernštejnů, kteří využili vodní strouhy vedené kolem zámeckého parku, byl na jejím levém břehu založen vodní mlýn. Podle J. G. Laška bylo do novostavby panského mlýna převzato vnitřní zařízení mlýna v Synkově (Baršovského mlýna), zrušeného roku 1600. Synkovský mlýn před zrušením zakoupila vrchnost za 190 kop gr.

Majitelem častolovického mlýna byla rovněž vrchnost, která si najímala mlynáře. Nájemník býval najímán na „čtvrtý groš“, ve výjimečných případech i na třetí. To znamená, že brával čtvrtý nebo třetí díl všech výnosů a užitků ze mlýna (např. z vylovených ryb) a stejně se podílel i na nákladech. Tento způsob nájmu se uchoval přibližně do konce 15. století, kdy se začalo přecházet na pevný roční plat, který odváděl mlynář vrchnosti.
Prvním známým nájemcem, který častolovický mlýn užíval za roční plat 90 kop gr., je v roce 1635 Petr Koťán. V letech 1651 - 1654 ve mlýně působil mlynář Jiřík Tuček Prorubský, jeho zeť Jiřík Šadl z Adršpachu, stárek Petr Bělohubý. Později, kolem roku 1685, mlýn užíval Václav Koťán a  roku 1702 Václav Němec. V roce 1738 vrchnost prodala mlýn Václavu Vilímkovi za 700 zl. Václav Vilímek mlýn pravděpodobně vlastnil coby tzv. úroční mlynář. Dne 29.1.1780 se v častolovickém mlýně manželům Janu Nepomuku Vilímkovi a Terezii rozené Kopecké narodil syn František Vilímek. František Vilímek se později stal krupařem ve Vysokém Mýtě a mlynářem na vápeneckém mlýně v Leštině.
Kolem roku 1897 mlýn provozoval mlynář Theodor Koráb, vážený občan a člen sboru dobrovolných hasičů.
Od roku 1910 až do 30. let 20. století ve mlýně působil mlynář Václav Marvan (*1880). Václav Marvan se později oženil s paní Františkou rozenou Pavlištovou (*1881), pocházející z Pekla, kromě dalších dětí spolu měli i dceru Františku (*1907), která se provdala za ředitele továrny Eternitas Jana Hirnšála - majitele vily U Nás.
Mlýnské kameny častolovického mlýna pocházely pravděpodobně z nedalekého Vamberka. V některých úrodnějších oblastech Čech i v častolovickém mlýně se také zpracovávalo proso na jáhly. Z jáhel se ve většině chudých domácností vařila kaše.Posledním přídavným zařízením v častolovickém mlýně byla olejna, v níž se pomocí lisu získával rostlinný olej používaný zejména ke svícení.
Častolovickému mlýnu se nevyhýbaly ani nepříjemnosti. Dne 15. října 1905 mlýn prakticky až do základů vyhořel. Při jeho rekonstrukci, na straně ke Kostelci nad Orlicí, u něj vyrostla přízemní budova s vodní turbínou. Turbínu zde nechal instalovat ředitel panství Josef Warmužna, zásobovala elektrickou energií zámek a  později i všechny panské budovy. K dalšímu požáru části mlýna došlo 15. června 1932. V této době byla mlýnská technologie poháněna transmisí a samotná hlavní budova čítala 4 nadzemní podlaží.
Po konfiskaci a pozemkové reformě roku 1948 byl majetek mlýna přidělen mlynáři panu Adolfu  Horákovi.
 V roce 1967 spolu s rekonstrukci silnice provedena regulace náhonu, došlo ke zrušení elektrárny a budovu krátce spravovali rybáři. Při další rekonstrukci státní silnice v roce 1975 byl mlýn zbořen.