웹 페이지 크롤링1 [HTML] Robots Meta 태그란? [HTML] Robots Meta 태그란? 외부 서비스를 오픈하는 과정에서 웹 페이지가 일반적으로는 구글 혹은 네이버, 다음과 같은 포털에서 검색이 쉽고 가능하도록 Search Indexer 혹은 Crawler가 작동하여 서비스를 수집해서 많은 사람들에게 노출이 되기를 원한다. 하지만 반대로 외부에 오픈되는 시스템이지만 특정 페이지는 검색시스템에 노출이 되지 않고, Search Indexer 혹은 Crawler가 해당 페이지를 수집하지 않기를 원하는 경우도 있다. 이럴 경우 흔히 Robots.txt를 이용하기도 하지만 Robots Meta 태그는 웹 페이지의 크롤링 및 색인을 제어하는 데에 핵심적인 역할을 수행함에 따라서 한번 알아보고자 한다. 1. Robots Meta 태그란? Robots Meta 태.. 2023. 12. 17. 이전 1 다음 300x250 300x250 300x250 300x250
