我看到有人将EXCEL中，设置A4大小的地方是有单元格线的，而其他地方则是没有单元格的。如何设置？

先选中A4大小的区域，单元格格式→边框，选择好线条的样式，添加进表格。再工具→选项→视图，取消“网格线”前的勾

不清楚你说的是哪种方式，因为有好几种方式可以使得不需要表格线的地方没有表格线。
我先说一种吧。
先打印预览一次，这步的目的是为了看清分页符在哪里，如果已经知道分页符在哪里，这一步不需要。
选中分页符后一列，按Ctrl+Shift+→，右键－隐藏。
选中分页符后一行，按Ctrl+Shift+↓，右键－隐藏。