یکی از نکات مهم در مورد قلعه خور قدمت آن است. متأسفانه بر اثر بی توجهی عوامل انسانی که در سالیان گذشته با کمال بی‌توجهی قلعه را تخریب می‌کرده‌اند ، امروزه قلعه تبدیل به توده ای از خاک و تعدادی دیوارهای منفرد که از میان خرابه‌ها سربرآورده‌اند، شده است. با مشاهده قطعات سفال آبی وسفید که سفال رایج دوره صفویه بوده است در محل قلعه می‌توان حداقل قدمت آن را به دوره صفویه برگرداند.
آنچه از این قلعه با ارزش در کنار بافت تاریخی بسیار با ارزش روستای خور باقی مانده است، یک برج دو طبقه با پلان چهار گوش و بقایای تعدادی از حصارها و دیوارهای قلعه می‌باشد. کل قلعه بر روی صخره‌ای بنا شده است که نسبت به بقیه زمینهای اطراف ارتفاعی در حدود 10-5 متر دارد. یکی از نکات جالب توجه در مورد قلعه این است که اطراف قلعه و صخره را گورابی فرا گرفته که در مواقع بارندگی، سیلابهای موقت به سمت آن جریان پیدا کرده و به آن وارد می شوند. نکته‌ای که در مورد قلعه قابل توجه است وجود حفره‌ای درضلع شمال غربی قلعه می‌باشد. این حفره بصورت افقی در صخره ای که قلعه روی آن ساخته شده، دیده می‌شود و دارای ارتفاعی به اندازه قد یک انسان است. وجود این حفره یکی از نکات مبهم این قلعه است که نمی‌توان دلیل قانع کننده‌ای برای وجود آن بیان کرد
