关闭留电话的广告，可以根据广告出现的场景采取不同的方法。
1、如果是手机上的APP广告，可以通过关闭该APP的推送通知来消除，具体步骤包括：进入手机设置，找到通知管理或者通知权限等选项，找到对应的APP并关闭其通知权限。
2、如果是浏览器中的广告，可以在浏览器中设置屏蔽广告，使用Chrome浏览器时，可以打开设置，选择“更多工具”-“广告拦截器”，启用该功能后可以有效屏蔽大部分广告，对于其他浏览器，也通常可以在设置或选项中找到屏蔽广告的功能。
3、如果是手机自带的软件中的广告，可以尝试卸载这些软件或者使用专业杀毒软件进行清理，部分手机支持在通知栏直接拦截广告的功能，也可以在设置里关闭相关软件的通知权限。
4、对于一些骚扰电话和短信广告，可以向相关机构投诉或者举报，国家市场监管总局曾发布规定，未经消费者同意或请求，不得向其发送商业性电子信息或拨打商业性电话，接收到骚扰电话或短信后，可以向相关机构投诉维护自己的权益。
方法并不一定适用于所有场景和所有类型的广告，如果问题仍然存在或者情况复杂，建议咨询相关专业人士的意见，在采取任何行动之前，请确保自己了解并遵循相关法律和规定。
