구글은 당신의 콘텐츠를 인덱싱하지 않는다

10년 전에는 새로운 워드프레스 블로그를 시작하면 구글이 몇 시간, 때로는 몇 분 안에 콘텐츠를 인덱싱함
구글의 사명은 "세계의 정보를 체계화하고 보편적으로 접근할 수 있게 만드는 것"이었음
사용자에게는 정보가 웹 어딘가에 존재하면 구글 검색으로 찾을 수 있다는 것을 의미했음
콘텐츠 제작자에게는 콘텐츠를 만들면 구글이 찾을 수 있게 해준다는 황금 기회였음

SEO 군비 경쟁과 구글의 대응

기회가 있는 곳에는 악용도 존재함
저품질 콘텐츠가 웹에 범람
링크 매매
많은 회색 및 블랙햇 SEO 전술
구글은 조작적인 SEO 관행을 정화하기 위해 판다, 펭귄 등 일련의 알고리즘 업데이트를 도입함
이는 SEO 전문가와 구글 간의 20년 동안의 줄다리기와 같았음

"콘텐츠가 왕"의 부상과 몰락

"콘텐츠가 왕"이라는 새로운 교리가 업계에 등장함
좋은 콘텐츠는 자연스럽게 링크를 유치하고 긍정적인 사용자 상호작용 신호를 생성하여 순위를 개선할 수 있음
구글의 알고리즘은 본질적으로 고품질 콘텐츠를 중요하게 여기고 높은 순위를 매길 것임
진정으로 좋은 콘텐츠를 만드는 많은 제작자들이 자신들이 마땅히 받아야 한다고 느끼는 순위를 결코 달성하지 못해, 품질만으로는 충분하지 않다는 것을 보여줌
근본적인 문제 중 하나는 구글도 그 누구도 "좋은" 콘텐츠를 알고리즘적으로 판별할 수 없다는 것이었음

AI 콘텐츠 혁명

2018년 OpenAI가 GPT-1을 공개하면서 콘텐츠 제작의 미래가 명확해짐
사람이 작성한 텍스트와 구별할 수 없는 AI 생성 콘텐츠가 등장함
"콘텐츠가 왕"이라는 시대가 막을 내리고 있음

구글의 실존적 위기

구글의 입장에서 보면 AI가 무한한 양의 사람과 유사한 콘텐츠를 생성할 수 있는 미래에 직면하고 있음
구글의 대응은 두 가지였음
전문성, 권위, 신뢰성(Expertise, Authoritativeness, Trustworthiness) 개념을 모호하게 홍보함. 실제로는 잘 알려진 브랜드와 기존 웹사이트를 선호하는 것으로 해석됨
모든 것을 인덱싱하려는 사명을 포기하고 대신 선택적이 되기로 함. 매우 선택적으로.

새로운 현실: 선택적 인덱싱

구글은 더 이상 전체 웹을 인덱싱하려 하지 않음
실제로 매우 선택적이 되어 대부분의 콘텐츠 인덱싱을 거부함
이는 콘텐츠 제작자가 임의의 품질 기준을 충족하지 못했기 때문이 아니라 구글이 검색 엔진으로서의 역할에 대한 접근 방식을 근본적으로 변경했기 때문임
내 경험에 비추어 볼 때 구글은 이제 "기본적으로 인덱싱하지 않음" 원칙에 따라 운영되는 것으로 보임
다양한 요소를 통해서 진정으로 필요하다고 판단되는 경우에만 콘텐츠를 색인에 포함
극도의 콘텐츠 독창성: 광범위하게 다루지 않는 주제에 대해 글을 쓰는 것만으로는 충분하지 않음. Google은 콘텐츠가 진정으로 참신하거나 색인에서 상당한 격차를 메울 것을 요구하는 것 같음
인지된 권위: Google이 틈새 시장에서 높은 권위를 가진 것으로 간주하는 사이트는 더 많은 콘텐츠가 색인될 수 있지만, 그렇다고 해서 보장되는 것은 아님
브랜드 인지도: 잘 알려진 브랜드는 대부분의 콘텐츠가 색인되는 경우가 많지만, 규모가 작거나 잘 알려지지 않은 블로거는 훨씬 더 엄격하게 선별됨
임시 색인 및 색인 해제: 실제로 Google은 뉴스 속보나 중요한 업데이트를 놓치지 않기 위해 새 콘텐츠를 매우 빠르게 색인화하는 경우가 많음. 얼마 지나지 않아 Google은 콘텐츠의 색인 생성을 해제할 수 있으며 그 이후에도 색인 생성이 해제된 상태로 유지. 따라서 처음에 색인되었다고 해서 반드시 Google이 귀하의 콘텐츠를 가치 있는 콘텐츠로 간주한다는 신호는 아님
이런 변화를 직접 목격하는 중
과거에는 새 도메인을 설정하면 1시간 이내에, 때로는 몇 초 만에 색인화되었음
이는 어디에도 멘션이 없고 백링크가 없는 신규 도메인의 경우에도 마찬가지
새로운 블로그 게시물 중 하나의 제목이나 기사의 독특한 문장을 검색하면 첫 번째 Google 페이지에 바로 표시되었음
이제 각 콘텐츠에 대해 Google은 색인화할 가치가 있는지 여부를 결정하는데, 대부분의 경우 "아니오"라는 대답이 나옴
정말 독특하다고 생각되는 콘텐츠나 전혀 다루지 않는 주제에 대해서는 색인화하지 않을 수 있음
하지만 다른 곳에서 이미 다루고 있다고 판단되는 주제에 대해 글을 작성하는 경우에는 색인되지 않을 가능성이 높음
이는 상당한 독자층을 보유한 존경받는 작가라 하더라도 발생할 수 있음
흥미롭게도 콘텐츠가 색인 생성에 성공하면 의외로 높은 순위에 오르는 경우가 많다는 사실도 발견
마치 색인 생성의 장애물이 너무 높아져서 그 장애물을 통과하면 이미 순위에 오를 수 있는 길이 거의 다 열린 것처럼
하지만 그 지점에 도달하는 것은 기하급수적으로 더 어려워졌음
중요한 것은 이러한 극단적인 선택이 동일하게 적용되지 않는다는 점
유명 브랜드는 대부분의 콘텐츠가 빠르게 색인되는 반면, 소규모 블로거나 틈새 웹사이트는 훨씬 더 까다로운 기준에 따라 색인에 포함되는 경우가 많음
이러한 소규모 업체의 경우 더 이상 좋은 콘텐츠를 만드는 것만이 중요한 것이 아니라 내 콘텐츠가 구글 색인에 꼭 필요하다는 것을 설득하는 것이 중요

결과

구글은 종합 검색 엔진에서 배타적인 카탈로그와 유사한 것으로 변모함
사용자에게는 찾고 있는 정보가 존재할 수 있지만 구글을 통해 발견할 수 없다는 것을 의미함
방대한 양의 가치 있는 콘텐츠가 간과되고 있다고 확신함
사용자가 검색할 수 있는 정보가 Google 검색 결과에 나타나지 않을 수도 있음
존재하지 않기 때문이 아니라 Google이 포함하지 않기로 결정했기 때문
콘텐츠 제작자에게는 구글이 대부분의 콘텐츠 인덱싱을 거부한다면 가시성을 어떻게 확보할 수 있을지가 중요한 챌린지가 되어버림.

이게 글쓴이의 개인적인 주장이라 해커뉴스 댓글에서는 이걸로 갑론을박이 많네요
실제로 그렇다는 사람들과 아니라는 사람들로 싸우고 있습니다.
개인적인 생각으로는 지금 상황이라면 구글 입장에선 Selective 인덱싱한후에 De-indexing 하는게 맞다고 보지 않을까 싶네요. 스팸사이트가 너무 많아지긴 했거든요.

해커뉴스 댓글 처럼 컨텐츠 성격과 규모에 따라 다를테고 근거도 빈약하지만, 전 꽤 그럴듯하게 들리네요.

올해 1분기에 회사에서 전반적인 SEO 개선 작업을 진행하고 지금까지 모니터링 하고 있습니다.
신규 제출한 URL이 10만개 정도 되고 5개월정도 모니터링했는데, 신규 URL 들이 별다른 에러 레포트 없이 발견됨 혹은 크롤링됨 에서 다음 단계로 넘어가질 않고, 최근에는 이미 인덱싱 되어있던 url도 만단위로 빠지기도 했습니다.
3월에 새로운 스팸 정책이 발표되었고, 웹 바이탈이 문제가 있기는 하지만, 그것만으론 이해가 안되서 고민이였는데, 그럴듯한 주장으로 들리네요.