ارگ کلاه فرنگی از بناهای اوایل دوره قاجار و در گذشته بحسام الدوله معصوم خان خزیمه از حکام منطقه تعلق داشته است .ازگ کلاه فرنگی ساختمانی دوطبقه با پشت بام و سقفی چند ضلعی به شکل طبقاتی و به صورت زیگوراتی بر روی هم قرار گرفته است.عمارت دارای اتاق هایی حول یک شش ضلعی با پنجره های رنگ رنگی است و مرکز این شش ضلعی ،جوزی کوچک و آبی قرار گرفته و سالن مرکزی تا کلاه فرنگی با گچ بری های سفید تزئین شده است.نمای ساختمان اصلی ارگ آجر کاری است.فضای ورودی ارگ جلوتر از طبقه همکف ساخته شده و با چند قوس زیبا طاق هایی را در آن بوجود آورده است.