さすがに「いくら日本の住宅は狭いからと言っても、そこまで言うことない」と、腹を立てた人が多かった。

やはりそうはいうものの。なんといってもやはり。
虽说那样还是，不管怎么说还是。

是“他”的意思

[日本人住在兔笼子似的小窝里]听到这个说法时,确实啊[就算日本的房子在怎么狭窄,也没有都那种程度啊]这么反驳着,生气的人不在少数.

这里的“さすがに”：感到惊讶时的一种表达。居然；竟然

日本人住在兔子窝里，听到这种话，很多人都很气愤，怎么会这么说呢，日本的住宅再小，也不至于到这种程度啊！

いつもおとなしいあいつでも、そこまで言われてさすがに愤った！
平时老老实实的他，被那样说，居然也大发雷霆了！

我也觉得是“虽说那样还是，不管怎么说还是”的意思 恩