Один (где буква о произносится, как и пишется, за исключением позднемосковского наречия) развивался естественно, на нем говорил, грубо говоря, народ. Второй слой был занесен из староболгарского, им выражались грамотеи и книжники, то есть обслуживающий персонал власти. Оба слова произошли от славянского chormъ - дом - в котором никакого звука "а" не предполагается. Даже без словаря и гугля предположу, что и в нынешнем болгарском храм — храм.
Хоромы (не "харомы") - жилье, хотя уже и "устар.", из-за чего его статус повысился, а так-то просто жилье. Храм - учреждение для отправления культа. В наши времена очень ярко проявилось, что это по своей сути казенный дом, не имеющий отношения к нормальному жилью, жизни человека. Усеченное акание внедрялось через нормативы, устанавливавшиеся в XVIII веке, от Петра до Ломоносова (интересно, он сам свою фамилию произносил правильно, или "Ламаносав"?).
А также любопытно, как при Путине слово "церковь" агрессивно вытеснено этим самым "храмом". Слово "храм" рекомендуется произносить со слегка выпученными глазами.
(Данная заметка никак не соотносится с современной официальной "наукой", это безответственные размышления рядового носителя родного языка).