[HTML] Robots Meta 태그란?

728x90

[HTML] Robots Meta 태그란?

외부 서비스를 오픈하는 과정에서 웹 페이지가 일반적으로는 구글 혹은 네이버, 다음과 같은 포털에서 검색이 쉽고 가능하도록 Search Indexer 혹은 Crawler가 작동하여 서비스를 수집해서 많은 사람들에게 노출이 되기를 원한다.

하지만 반대로 외부에 오픈되는 시스템이지만 특정 페이지는 검색시스템에 노출이 되지 않고, Search Indexer 혹은 Crawler가 해당 페이지를 수집하지 않기를 원하는 경우도 있다.

이럴 경우 흔히 Robots.txt를 이용하기도 하지만 Robots Meta 태그는 웹 페이지의 크롤링 및 색인을 제어하는 데에 핵심적인 역할을 수행함에 따라서 한번 알아보고자 한다.

728x90

1. Robots Meta 태그란?

Robots Meta 태그는 검색 엔진 로봇에게 특정 지침을 제공하는 HTML Meta 태그이다.

Robots Meta 태그에는 여러 가지 지시자가 있으며 그것을 통해서 웹 개발자는 해당 페이지의 색인 여부, 링크 따라가기 여부 등에 대해서 허용 혹은 거부를 할 수 있다.

다른 Meta 태그와 동일하게 사용하는 방법은 HTML의 <head> 섹션 내에 작성을 해주면 된다.

<!-- HTML내 <head> 섹션내 설정 -->

<meta name="robots" content="value">

그럼 어떤 지시자가 있고 해당 지시자가 역할을 하는지 알아보도록 하자.

2. Robots Meta 태그 지시자

2.1 index

index 지시자는 해당 페이지를 색인하도록 지시하는 지시자이다.

<!-- HTML내 <head> 섹션내 설정 -->

<meta name="robots" content="index">

2.2 noindex

noindex 지시자는 index 지시자의 반대 내용으로 해당 페이지를 색인하지 않도록 지시하는 지시자이다.

<!-- HTML내 <head> 섹션내 설정 -->

<meta name="robots" content="noindex">

2.3 follow

follow 지시자는 해당 페이지의 링크를 따라가도록 지시하는 지시자이다.

<!-- HTML내 <head> 섹션내 설정 -->

<meta name="robots" content="follow">

2.4 nofollow

nofollow 지시자는 follow 지시자의 반대 내용으로 해당 페이지의 링크를 따라가지 않도록 지시하는 지시자이다.

<!-- HTML내 <head> 섹션내 설정 -->

<meta name="robots" content="nofollow">

2.5 noarchive

noarchive 지시자는 검색 결과에 해당 페이지의 캐시를 표시하지 않도록 지시하는 지시자이다.

<!-- HTML내 <head> 섹션내 설정 -->

<meta name="robots" content="noarchive">

2.6 nosnippet

nosnippet 지시자는 검색 결과에 해당 페이지의 요약정보(스니펫)를 표시하지 않도록 지시하는 지시자이다.

<!-- HTML내 <head> 섹션내 설정 -->

<meta name="robots" content="nosnippet">

2.7 max-snippet:[number]

max-snippet 지시자는 검색 결과에 표시되는 요약정보(스니펫)의 최대 길이를 제한하는 지시자이다.

<!-- HTML내 <head> 섹션내 설정 -->

<meta name="robots" content="max-snippet:50">

2.8 max-image-preview:[setting]

max-image-preview 지시자는 이미지 검색 결과에 대한 미리보기 크기를 설정하는 지시자이다.

<!-- HTML내 <head> 섹션내 설정 -->

<meta name="robots" content="max-image-preview:300">

3. 주요 Robots Meta 태그 조합

3.1 index, follow

해당 설정은 해당 페이지를 검색 엔진에 색인하고 페이지의 링크를 따라가도록 지시한다.

Robots.txt 나 X-Robots-Tag와 같이 특별한 설정을 하지 않았다면 설정하지 않아도 대부분 검색 엔진에 색인을 한다.

하지만 반드시 노출이 필요한 페이지라면 이와 같이 해당 페이지에 설정을 한다면 Search Indexer 혹은 Crawler가 빠르게 수집해 갈것이다.

<!-- HTML내 <head> 섹션내 설정 -->

<meta name="robots" content="index, follow">

3.2 noindex, follow

해당 설정은 검색 엔진에게 해당 페이지를 검색 엔진에 색인하지 않고, 검색 결과에서 제외하면서 해당 페이지에 있는 링크는 따라가도록 허용하도록 지시한다.

페이지의 내용이 검색 결과에 나타나지 않지만, 페이지 간의 링크는 검색 엔진에 의해서 따라 갈수 있도록 할 때 설정 한다.

<!-- HTML내 <head> 섹션내 설정 -->

<meta name="robots" content="noindex, follow">

3.3 index, nofollow

해당 설정은 검색 엔진이 색인하되 페이지의 링크를 따라가지 않도록 지시한다.

페이지의 내용은 검색 결과에 나타나지만, 해당 페이지의 링크를 통해서 다른 페이지로의 연결은 제한하고자 할 때 설정 한다.

<!-- HTML내 <head> 섹션내 설정 -->

<meta name="robots" content="index, nofollow">

3.4 noindex, nofollow, noarchive

해당 설정은 검색 엔진이 색인하지 않고 페이지의 링크를 따라가지 않으며, 캐시에 저장하지 않도록 지시한다.

페이지의 내용은 수집이 되지 않아서 검색 결과에 나타나지 않으며, 페이지간 링크를 통한 연결도 제한하고, 캐시에 의해서 이전 버전도 저장되지 않도록 할 때 설정 한다.

<!-- HTML내 <head> 섹션내 설정 -->

<meta name="robots" content="noindex, nofollow, noarchive">

3.5 max-snippet, max-image-preview

해당 설정은 요약정보(스니펫) 최대 50자, 이미지 프리뷰는 최대 300px까지만 허용하도록 지시한다.

페이지의 요약정보(스니펫)이나 이미지 검색 결과에 대한 미리보기를 특정 크기로 제한하여 사용자 경험을 최적화 할 때 설정 한다.

<!-- HTML내 <head> 섹션내 설정 -->

<meta name="robots" content="max-snippet:50, max-image-preview:300">

4. 정리

서비스 상황 및 성격에 따라 Robots Meta 태그를 적절하게 선택하여 웹 페이지의 검색 결과 노출 여부 및 링크 동작등을 효과적으로 제어하는데 많은 도움이 될 것이다.

5. 참고문헌

로봇 메타 태그 사양 | Google 검색 센터 | 문서 | Google for Developers

로봇 메타 태그를 추가하는 방법과 페이지 및 텍스트 수준 설정을 사용하여 Google이 검색결과에 콘텐츠를 표시하는 방식을 조정하는 방법을 알아보세요.

developers.google.com

HTML <meta> 요소는 <base>, <link>, <script>, <style>, <title>과 같은 다른 메타관련 요소로 나타낼 수 없는 메타데이터를 나타냅니다.

developer.mozilla.org

728x90

저작자표시 비영리 변경금지

[HTML] Robots Meta 태그란?