这道初中化学题的正确答案为：

A、水壶烧水出现水垢是由于钙镁化合物受热生成碳酸钙、氢氧化镁等新物质，属于化学变化，故A错； B、牛奶变酸有酸性物质生成，属于化学变化，故B错； C、寒冷冬季室内窗户玻璃出现水雾，是由于水蒸气冷凝成水滴过程，没有新物质生成，属于物理变化，故C正确； D、用石灰浆粉刷墙壁，干燥后，墙壁变硬是由于氢氧化钙与二氧化碳反应生成碳酸钙沉淀和水，属于化学变化，故D错． 故选C．

解题思路 该题暂无解题思路