[TISTORY] Google Search Console 색인이 생성되었으나 robots.txt에 의해 차단됨 완벽 해결

 

1. 구글로 부터 온 메일 확인

 

오랜만에 구글에서 메일이 와서 깜짝 놀랬다.

보니까,, 또 Google Search Console로 부터 온 메일이었다.

 

아래 사진으로 나와있는데, 색인 생성 범위에서 문제가 발견되었다고 했고,

경고였는데 색인이 생성되었으나 robots.txt에 의해 차단되었다고 했다.

 

헉헉.. 뭐가 문제일까

 

 

메일 하단에 파란 박스로 색인 범위 문제 해결하기를 눌러서 들어갔더니,

아래와 같이 나타났다. 찾아보니까 경고라서 큰 문제는 없는 거 같은데.. 찝찝해서 해결하고자 했다.

경고는 노란색이다. 지난 번 오류는 빨간색이었다.

 

 

 

2. 원인 - 모바일에서 tag 기반 검색했을 때 특정 키워드가 게시글 안에도 속해있었던 것

url을 보면.. https://jemmaa.tistory.com/m/search/tags?keyword=BigData

로 나오는데.. 모바일 버전에서 내 블로그에서 게시글을 검색할 때 키워드로 BigData를 했을 때

발생하는 것 같다.

 

모바일버전에서 키워드 검색 시 문제가 된다.

 

 

3. 해결 과정

 

1) 구글링

해결방법을 찾아보려고 구글링을 해봤는데, 

많은 게시글에서 '[블로그이름].tistory.com/manage'로 문제가 발생한다고 하는데,

나는 내 블로그에서 검색할 때 검색 키워드로 문제가 있었다.

 

2) 모바일, PC버전에서의 경우, PC버전에서의 모바일 환경 확인

3가지 경우를 확인해보았다.

모바일, PC버전에서의 PC/모바일에서 문제가 발생하는 키워드인 BigData를 검색해봤을 때

PC버전에서 검색했을 때는 해당 키워드를 가진 게시글만 검색이 된다.

그런데 모바일과 PC버전서의 모바일에서 검색했을 때 아래처럼 글 / 태그 이렇게 파트가 나눠진다.

여기서 태그를 눌렀을 때 키워드(#태그를 삽입했을 때)게시글이 나오는데, 아래 사진을 보면  태그 단어가 포함되어서 

게시글 본문이 2~3줄 축약되어서 나온다.

태그를 클릭하면 게시글에 등록한 태크 기준으로 검색되어서 나온다.

 

내 경우에는 축약된 게시글 안에서도 해당 검색 키워드가 포함되어 있었고, 태그에도 포함되어 있어 이걸

이중으로 인식해서 문제가 되었다고 생각했다.

그래서 본문을 조금 수정하고 유효성 검사를 재시작하였다.

 

 

그리고 며칠 후 확인해보니, 그래도 계속 경고가 떴다.. 크게 문제 없는 부분이기도 하고

조금 바빴어서 그대로 뒀다.

그리고 최근에 확인했을 때, 유효성 검사가 통과되어서 더이상 경고 메세지가 뜨지 않게 되었다.

유효(경고 있음) 차트를 확인해보니 0으로 표시 되어 있어서 매우 기뻤다.

놀랄만한건, 최초로 경고 있음을 확인했을 때는 1개의 페이지가 경고였는데 어느 순간 2개로 증가되었다가

어느 순간 다시 1개로 줄어들어서 현재는 0이 되었다.

 

해당 경우가 크롤링이 늦게 되는 것인지, 아니면 연도가 바뀌면서 정책이 반영되어서 바뀐 것인지는 모르겠지만,

그래도 2개월 만에 유효성 검사가 통과되어서 너무 좋다.