一楼自家住宅窗下自建小仓房是否是违章

当然是！ 不过只要没人举报 ，城管不来查就没事。
法律依据《中华人民共和国城市规划法》
第十条任何单位和个人都有遵守城市规划的义务，并有权对违反城市规划的行为进行检举和控告。
第三十二条在城市规划区内新建，扩建和改建建筑物，构筑物，道路，管线和其他工程设施，必须持有关批准文件向城市规划行政主管部门提出申请，由城市规划行政主管部门根据城市规划提出的规划设计要求，核发建设工程规划许可证件。建设单位或者个人在取得建设工程规划许可证件和其他有关批准文件后，方可申请办理开工手续。
第四十条 在城市规划区内，未取得建设工程规划许可证件或者违反建设工程规划许可证件的规定进行建设，严重影响城市规划的，由县级以上地方人民政府城市规划行政主管部门责令停止建设，限期拆除或者没收违法建筑物、构筑物或者其他设施；影响城市规划，尚可采取改正措施的，由县级以上地方人民政府城市规划行政主管部门责令限期改正，并处罚款。
明白了？

依据物权法等法律法规，其行为违法