请问这话正确吗

这句话的意思是说,如果一味沉溺于感官享受,那么这种人的智慧一定很浅薄。也就是说,只有从声色繁华中超脱出来宁静沉思的人,才能具有大智慧,去把握纷繁的人生和无穷的宇宙。

你理解的跟作者的意思有所偏差，，，hoqqood 这位仁兄说的更为贴切一些。

你理解偏差的原因是，你受孔孟积极入世思想的影响，而老庄的思想与孔孟不同，他们主张：小国寡民、无为而治（不是不作为，是不刻意）、顺应自然，所以你眼里的成功，并不是庄子眼中的成功。
简单的理解可以是，人越容易受凡世所累，得“道”的机会就越少，表现了他们那种清心寡欲的思想。