如何禁止直接通过ip访问服务器

系统： CentOS Linux 7.4环境：nginx 1.12  + php5.4


怎么设置禁止用户直接通过ip访问服务器。
我网站做了cdn，但是不知道别人怎么知道了我的ip地址，并且有一些轻微的攻击，
为了防止他直接打我的ip，我想禁止ip直接访问网站，这个怎么设置。