검색엔진 최적화. 불필요한 웹사이트 검색 차단/삭제 요청하기

보통 검색엔진 최적화하면 검색 누락이나 검색이 되게끔 요청하는 것을 많이들 생각하실 텐데요.
불필요하게 노출되는 웹사이트들을 줄여줘도 관련 홈페이지들을 꽤 깔끔한 구성으로 관리할 수 있다는 것 알고 계셨나요?

검색엔진에서 웹사이트를 가져가는 원리 이해하기

먼저 검색엔진이 웹사이트를 어떤식으로 관리하는지를 이해할 필요가 있습니다. 모든 웹사이트는 HTML이라는 마크업 랭귀지로 짜여 있으며, 이중에서도 meta라는 영역에 있는 내용을 근거로 검색엔진의 봇들이 데이터를 수집하고 관리하게 됩니다.

오늘 중점적으로 확인할 부분도 바로 이 부분.

<meta name= "robots" content ="noindex">

웹사이트를 크롤링해가는 봇들로 하여금 해당 웹사이트를 인덱스하지 말라는 요청사항을 웹페이지에 기입할 수 있습니다. 다만 이렇게 메타태그를 수정할 수 없는 상황도 있습니다.

도메인 계약이 종료되었을 때

상당히 많은 분들이 놓치고 있는 부분인데 꽤 잘 운영되던 사이트가 갑자기 도메인 주소가 바뀌는 경우가 있는데 보통 1~2년 정도 계약을 걸어놓다가 연장 신청을 놓쳤을 때 특히 이런 시점에 대형 도메인 펌에서 해당 도메인을 바로 사버리는 케이스들이 종종 있습니다. 이런 경우 기존 도메인으로 접근 권한도 없을뿐더러 계약 만료와 함께 접근 권한도 잃는 경우 난감하게 되는데요.

이런 경우엔 호스팅 업체를 찾아볼 필요가 있습니다. 웹사이트가 존재한다는 것은 아직 호스팅이 유지가 된다는 이야기 이기 때문에 후이즈, 카페24등 호스팅 업체에 직접 연락해서 빠르게 도메인 연결을 끊어버리는 방법이 있습니다. 물론 이 경우에도 간혹 가다 캐시가 남아있다던가 하는 이유로 검색엔진에 직접 요청해야 할 수도 있겠죠.

일련의 작업을 진행했지만 2주째 노출되는 중이라면 => 검색엔진별 검색차단 서비스 이용

저 또한 최근에 사용하지 않는 홈페이지가 계속 노출되고 새로 만들려는 홈페이지가 방해받는 케이스가 생겨 꽤나 골치가 아팠는데요. 내려야 하는 웹사이트들을 빠르게 검색엔진에 알리고 신규 페이지가 대체될 가능성을 높이는 방법이 있습니다

네이버에서 제공하는 검색엔진 차단 가이드

https://searchadvisor.naver.com/guide/faq-serpremove

 

구글에서 제공하는 검색엔진 차단 가이드

https://developers.google.com/search/docs/advanced/crawling/remove-information?hl=ko 

검색 누락 만큼이나 불필요한 정보가 유지되는 것도 빠르게 막아주실수록 좋다는 점!
사이트나 관련 정보를 검색엔진에서 내려야하시는 분들은 확인해보시길 바라겠습니다 :)