검색 엔진의 작동 원리: 크롤링, 인덱싱 및 순위 결정 설명

검색 상자에 질문을 입력하고 몇 분의 일초 만에 답변을 얻는 것은 즉각적으로 느껴지지만, 실제로는 쿼리가 입력되기 전에 발생하는 세 가지 별도의 프로세스에 의존합니다. 크롤링, 인덱싱 및 순위 결정입니다. Google은 자신의 개발자 문서에서 이 3단계 모델을 설명하며, 다른 검색 엔진도 동일한 기본 프레임워크를 기반으로 합니다.

크롤링: 웹의 페이지 찾기

크롤링은 발견 단계입니다. Google의 개발자 가이드에 따르면, Googlebot이라는 이름의 Google의 크롤러 같은 자동화된 프로그램은 주로 세 가지 경로를 통해 새 페이지나 업데이트된 페이지를 찾습니다. 이미 알고 있는 페이지를 다시 방문하고, 한 페이지에서 다른 페이지로의 하이퍼링크를 따르며, 사이트 소유자가 검색 엔진에 직접 제출하는 사이트맵 파일을 읽는 것입니다.

Google의 문서에 따르면 Googlebot은 모바일 및 데스크톱 변형이 있으며, 대부분의 크롤 요청은 모바일 크롤러에서 나옵니다. 이는 Google이 주로 페이지의 모바일 버전을 인덱싱하기 때문입니다. 크롤러는 최신 버전의 Chrome 브라우저를 사용하여 페이지를 렌더링하므로 JavaScript를 실행할 수 있습니다. 많은 사이트가 일반 HTML로 제공하지 않고 동적으로 콘텐츠를 로드하기 때문입니다.

크롤러는 모든 것을 무차별적으로 가져오지 않습니다. Google의 가이드에 따르면 Googlebot의 크롤 요청은 알고리즘적으로 제한되며, 대부분의 사이트는 평균적으로 약 몇 초마다 1회 이상 액세스되지 않으며, Googlebot은 사이트 소유자가 robots.txt 파일에서 설정한 규칙을 준수합니다. 가져오기 크기도 제한됩니다. 대부분의 파일 유형의 경우 최대 2MB, PDF의 경우 64MB입니다. 그 후 Googlebot은 다운로드를 중지하고 이미 검색한 부분으로 작업합니다.

인덱싱: 찾은 것 정리하기

페이지를 가져온 후 검색 엔진은 그것이 무엇인지, 저장할 가치가 있는지 결정해야 합니다. Google의 문서는 이를 텍스트, 이미지 및 비디오 콘텐츠 분석, 제목 태그 및 이미지 alt 특성과 같은 HTML 요소 읽기, 정규화 적용으로 설명합니다. 정규화는 거의 중복된 페이지를 그룹화하고 결과에 표시할 대표 버전을 선택하는 것입니다.

중요하게도 Google은 페이지를 크롤링해도 인덱싱이 보장되지 않는다고 명시합니다. 낮은 콘텐츠 품질, 인덱싱을 차단하는 로봇 메타 태그, 또는 사이트의 기술적 문제로 인해 페이지가 제외될 수 있습니다. 이는 사이트 소유자가 Google의 도구에서 때때로 보는 "크롤링됨 - 현재 인덱싱되지 않음" 상태의 기술적 기초입니다.

백그라운드에서 검색 엔진이 사용하는 저장 구조는 일반적으로 역인덱스(inverted index)입니다. GeeksforGeeks가 게시한 기술 개요에서 설명했듯이, 역인덱스는 일반적인 문서-단어 관계를 뒤집습니다. 어느 단어가 어느 문서에 있는지 나열하는 대신, 모든 단어에 대해 그것을 포함하는 문서를 나열합니다. 구축에는 텍스트를 개별 항으로 분해하고(토큰화), 일반적인 채우기 단어를 제거하고, 각 항이 나타나는 위치를 기록하기 전에 단어 변형을 정규화하는 작업이 포함됩니다. 이 구조를 통해 검색 엔진은 쿼리의 관련 문서로 직접 이동할 수 있습니다. 전체 웹을 한 줄씩 스캔해야 하는 대신입니다. GeeksforGeeks 개요에 따르면 문서 컬렉션이 커지면 이는 비현실적으로 느려집니다.

순위 결정: 쿼리에 대한 결과 정렬

순위 결정은 누군가 검색할 때 발생합니다. Google의 문서에 따르면 쿼리와 일치하는 모든 인덱싱된 페이지 중에서 시스템은 관련성으로 순서를 지정하며, 관련성은 "수백 개의 요소"라고 설명하는 것으로 결정됩니다. 여기에는 사용자의 위치, 언어, 장치 등의 신호가 포함될 수 있습니다. Google은 또한 유기 페이지를 더 높게 순위 매기기 위해 지불금을 받지 않으며 순위 매기기는 프로그래밍 방식으로 수행된다고 명시합니다.

초기에 문서화된 순위 신호 중 하나는 PageRank입니다. Google의 공동 창립자인 Larry Page와 Sergey Brin이 Stanford University에서 1997년에 만들었으며, 1998년 1월에 특허로 처음 출원되었습니다(SEO 분석 회사 Ahrefs가 컴파일한 역사에 따르면). PageRank는 페이지에 대한 각 하이퍼링크를 신뢰도 투표로 취급하며, 각 투표의 값은 링크하는 페이지의 권위도로 가중치가 지정됩니다. 원래 공식에는 0.85의 감쇠 계수가 포함되어 있었으며, 이는 사용자가 시작 페이지에서 멀어질수록 링크를 계속 클릭할 가능성이 감소하는 것을 모델화하려는 것이었습니다.

Ahrefs의 개요에 따르면 PageRank는 더 이상 독립형 점수가 아닙니다. Google의 도구모음을 통한 공개 액세스는 2016년에 종료되었습니다. 하지만 Google의 Gary Illyes는 링크가 여전히 Google이 E-E-A-T(경험, 전문성, 신뢰성, 신뢰도) 아래에 그룹화하는 더 광범위한 권위 신호에 공급하고 있다고 말했습니다. Google은 또한 페이지의 모든 링크 전체에 권위를 균등하게 분할하는 대신, 실제 방문자가 링크를 클릭할 가능성에 따라 일부 링크를 더 무겁게 가중치를 두는 합리적 서퍼 모델로 전환했습니다.

페이지가 크롤링되었지만 여전히 검색에 표시되지 않는 이유

3가지 단계는 웹사이트 소유자에게 혼란의 일반적인 원인을 설명합니다. 페이지가 크롤링된다고 해서 인덱싱되는 것은 아니며, 인덱싱된다고 해서 높은 순위가 보장되는 것은 아닙니다. Google의 가이드는 이 제한에 직접 주소를 지정하며, 사이트가 Google의 공개 가이드라인을 따르는 경우에도 주어진 페이지가 크롤링, 인덱싱 또는 제공된다는 보장을 할 수 없다고 명시합니다.