Kapelicu je 1674. godine dala porušiti tadašnja vlasnica grada Suzana Oršić, udovica Stjepana Petheö. Suzana Oršić je iste godine preminula, pa je usporena gradnja nove kapele. Njezin sin Gregur Petheö želio je da se nova kapelica sagradi izvan grada, na nekom mjestu kojeg zovu Rupešišče. No, puk je bio privržen staroj kapeli i tražio je da se u gradu opet podigne kapela.
Kompromisno rješenje postignuto je 1685. godine. Probijen je istočni gradski zid i u njega ugrađena nova kapela Sv. Ivana Krstitelja. Jedna polovica (svetište) izlazila je izvan gradskog zida, dok je druga polovica (ulaz) ostala u gradskom dvorištu. Kapela je dovršena 1686. godine.
Kapela je bila prostrana, dugačka oko 16 metara, a široka oko 6 metara. Sva je bila zidana i presvođena, pod joj je bio prekriven opekama, krov hrastovim daščicama, a nad ulazom se nalazio maleni drveni tornjić u koji je kasnije smješteno zvono težine 1 cent. Kapela je bila dosta visoka i imala je dva kora. Jedan je bio iznad ulaza, dok je drugi bio na sjevernoj stijeni, namijenjen gospodi koja su do njega dolazila iz grada, vjerojatno drvenim otvorenim galerijama.
Oltari su pristizali postepeno i imali su umjetničku vrijednost. Glavni oltar postavljen 1689. godine bio je posvećen Ivanu Krstitelju. Godine 1694. pridolazi propovjedaonica. Lijevi sporedni oltar postavljen 1694. godine bio je posvećen M.B. Svijećnici. On nije u kapeli dugo stajao jer je u kapelu donesena čudotvorna slika B.D. Marije. Slika je donesena iz kapele Uznesenja Marijina ispod grada Bele jer je tamošnji župnik u potpunosti zapustio kapelu pa je slika skoro propala. Ivan Petheö naručio je za nju novi oltar, a njegova žena Barbara Faluši naručila je pobočni (desni) oltar Sv. Barbare. Kapela je imala i mnogo vrijednog posuđa, osobito četiri kaleža.
Na žalost, lijepa kapela Petheövih nije bila solidno građena. Već 1771. godine vizitator je uočio pukotine na lijepo oslikanom stropu. Propadanje kapele pojačano je odlaskom grofova Erdödy iz Ivanca 1817. godine. Novi vlasnik Adam Peharnik i njegovi potomci branili su narodu da dolazi na mise tvrdeći da je kapela privatna jer se do nje dolazi iz grada. Vizitator je zastupao mišljenje da je kapela oduvijek bila javna.
Kapela je 1844. godine srušena, a jedino što je od nje ostalo je zvono koje se sada nalazi u kapeli Sv. Duha nad Prigorcem.
Ivanečki stari grad bio je građevina koja je nastajala tijekom dugog vremena. Iz jednog dokumenta sačuvanog u Hrvatskom državnom arhivu saznajemo da je zadnji Petheö 1713. godine imao u gradu 14 gospodarskih stambenih prostorija i još jednu „palaču“, zatim podrum, spremnicu, kuhinja i ostale prostorije potrebne gospodarstvu, kapelu u gradu, marof s tri zgrade, ribnjak, mlin na tri kotača za mljevenje žita i jedan s jednim kolom za mljevenje kaše.
Stari grad Ivanec sastojao se od 4 krila koja su se kružno zatvarala. Na sjevernom krilu koje je bilo okrenuto prometnici Varaždin – Lepoglava bio je obrambeno naglašen s tri impozantne kule koje su služile obrani ulaza u grad, ali i zapadnog i istočnog gradskog krila.
Branič kula bila je najviša i najveća od svih triju kula. Imala je 3 kata, dva su se koristila za stanovanje, a treći je bio tavanski prostor. S te je kule pucao pogled na sve prilazne putove Ivancu.
Glavna kula bila je kvadratna, zapadna je imala poligonu formu, a istočna polukružnu. Zapadna kula bila je šesterokut vrlo nepravilne građe. Imala je strateški važan položaj s pogledom na cestu koja je zakretala prema crkvi, selu i dalje prema Ivančici. Pogled s nje sezao je sve do Očure. Kule su međusobno bile povezane masivnim obrambenim zidom.
Zapadno krilo grada imalo je isključivo stambenu funkciju, vjerojatno iste starosti kao i glavna kula. Južno krilo nastalo je u 18. stoljeću, a sagradio ga je Ladislav Erdödy. Dvorišno jugoistočno krilo izgrađeno je također u 18. stoljeću. Služilo je posluzi i gospodarskim potrebama.
Grad je bio okružen dubokim opkopima koji su se punili vodom iz Bistrice, a do gradskih vrata prelazilo se mostom preko grabišta punog vode. Na mjestu današnjeg parka prostirao se je veliki ribnjak koji se također snabdijevao vodom iz Bistrice.
Ivan Petheö ostavio je imanju zapušteno i u velikim dugovima, a nakon smrti njegove udovice Barbare Falussy 1730. godine, posjed prelazi u kraljevsko vlasništvo. Kralj Karlo IV. 1740. godine prodaje imanje Ladislavu Erdödyju Novomarofskom koji obnavlja vlastelinstvo, povećava i uređuje grad, a u opkope ponovo dovodi vodu.
Ženski potomci obitelji Petheö dosjetili su se 1763. godine da im je nepravedno oduzeto nasljedstvo na koje su imali sva prava, jer su njihovi davni preci ta imanja stekli novcem, a ne kraljevom darovnicom. Da dođu do svojih posjeda, nasljednici su pokrenuli parnicu koja je trajala 54 godine. Parnica je 1817. godine okončana u njihovu korist, uglavnom zahvaljujući nastojanjima njihovog utjecajnog rođaka, đakovačkog biskupa Mirka Raffaya (1753.-1830.).
Nasljednici su bili obitelji Peharnik, Fodroczy, Balogh, Kovačoci, Švagel, Krajačić, Bužan, Dominić, Konoty, Bedeković, Josipović, Lovinčić, Barabaš i Kukuljević.
Ivanečki grad je zajedno s određenim zemljišnim posjedom zapao baruna Adama Peharnika-Hotkovića. Njegova kćer Katarina udala se je za odvjetnika Nikolu Fallera, a Ivanec je ostavila svojoj kćeri Mariji, koja se udala za Filipa Šarlaya.
Šarlajevi su 1844. godine dali djelomično porušiti trošnu kapelu Patheövih, a prostorije prvog kata iznajmili su kotarskoj oblasti (srezu). 1867. godine Šarlajevi su Ivanec prodali Ladislavu Kukuljeviću.
Ivanečki grad je u vrijeme Ladislava Kukuljevića konačno uređen. Ladislav je porušio ostatke Petheöve kapele, probio istočni zid i tako otvorio put do staja i ostalih gospodarskih zgrada. Visoke bedeme je dao sniziti, a grabe u kojima više nije bilo vode, zasuti i izravnati. Umro je u Ivancu 1896. godine.
Njega je naslijedio nećak Božidar, najmlađi sin Ivana Kukuljevića. On je zapušteni ribnjak pretvorio u engleski perivoj, danas park. Njegov sin Radovan pritisnut dugovima, ustupa većinu obiteljskih dugova svojem šurjaku dr. Josipu Šabanu, koji za saniranje duga rasprodaje posjed od kojeg ostaje samo dvorac s perivojem, mlin i nešto šuma. Pred II. svjetski rat od posjeda je ostao samo dvorac s parkom koji je postao najamna kuća, a vlasnici su za ljetni odmor koristili samo 5 soba.
Dvorac je u II. svjetskom ratu zapaljen i teško oštećen. Partizanske jedinice su u akciji oslobađanja napale utvrđene položaje i u starome gradu, a dvorac je zapaljen i teško oštećen. Poslije rata imanje je nacionalizirano, a za obnovu dvorca nove vlasti nisu imale sluha. Preostale dvije kule su srušene 1959. godine, a ostaci su ugrađeni u temelje glavnih ivanečkih ulica.
O Ivancu
Stari grad Ivanec više ne postoji. Oštećen je u II. svjetskom ratu, a preostale dvije kule srušene su 1959. godine. Kameni ostaci ruševina ugrađeni su u temelje glavnih ivanečkih ulica. 
