第一次去教堂，我怎么没有找到那个用于忏悔的小房子阿？

你所说的是忏悔室。
忏悔室又名告解厅,是天主教信仰中七件圣事之一的告解[和好]圣事.信徒们向合法圣职人告罪,并对所告的罪痛悔并定改,籍同一的神职人赦罪后,便从天主获得领洗后所犯罪过的赦免,同时亦于因犯罪而伤害了的教会和好。
但是楼主所去的教堂应该是基督教教堂，并非天主教教堂。
并且，天主教的信徒是通过向神父告解，再由神父向神诉说。
但是基督教则没有这些，每个信徒都是直接与神对话，直接向上帝祷告、诉说、赞美等等。
建议楼主自己仔细想清楚，关键是找到真理，明白真理，在相信何种宗教和去什么教堂方面做出正确的选择。

天主教堂才有啊。你可能去到新教派的教堂了。

北京市天主教堂总汇
http://www.tianzhujiao.cn/catholic/200506/9898.html

只有天竺教堂才有，现在国内以基督教为主，故你是找不到那个小房子的，如果要忏悔祷告，可以跪在祷告垫上，自己向神祷告忏悔，