두 마리 토끼 모두 잡기: AI 학습은 허용하지 않으면서 검색 노출은 유지하기

적절한 제어 방법 없이 웹 사이트 소유자는 오랫동안 어려운 선택에 직면해왔습니다. 자체 콘텐츠를 AI 학습 용도로 사용하도록 허용할 것인지, 아니면 검색에서 노출이 상실될 위험을 감수할 것인지 선택해야 했으니까요. 이러한 선택을 해야 하는 이유는 일부 대형 조직에서 인터넷에서 복합 용도 크롤러를 사용하기 때문입니다. 이 크롤러는 검색 및 AI 학습 모두에 사용됩니다. 하나를 거부하면 다른 하나도 거부하게 됩니다.

오늘 Cloudflare에서는 크롤러가 귀하의 콘텐츠로 학습하는 것을 거부하면서도 그와 동시에 검색에 노출되도록 하는 새로운 Disallow AI Training(AI 학습 비허용) 설정을 발표합니다. Apple, Google, Microsoft에서는 이 설정을 준수하거나 특정 기간 내에 준수하겠다고 약속했습니다.

복합 용도 크롤러는 학습 문제에 있어서 어려운 부분이었습니다. AI 요약 문제가 그 다음으로 어려웠습니다. 사이트 전체에 대해 단순히 ‘예’ 또는 ‘아니요’를 지정하는 것은 너무 단정적입니다. 요약에 콘텐츠가 얼마나 많이 포함되는지가 콘텐츠가 요약에 포함되는지 여부와 마찬가지로 중요합니다. AI 요약 기능에 대한 옵트아웃 옵션은 이미 우리가 복합 용도 크롤러 운영자들에게 제시한 요구 사항 중 하나입니다. 저희 목표는 내년 초까지 각 운영자별로 따로 설정하지 않고, Cloudflare에서 한 번만 설정하여 사용자의 콘텐츠 포함 여부를 제어할 수 있도록 하는 것입니다.

요청하는 것만으로는 충분하지 않은 이유

대부분의 사이트 소유자는 사람과 에이전트와 (좋은) 봇에게 노출되는 것을 원합니다. 하지만 개방형 인터넷의 상당 부분에서는 광고나 구독료나 방문자와의 직접적인 관계를 통해 자금이 조달되며, 이러한 모델에서는 누군가가 실제로 방문했을 때만 수익이 창출됩니다.

거의 모든 사이트 소유자는 검색이 유익하다고 생각합니다. Cloudflare 사이트 중 1% 미만이 검색 봇을 차단하기로 선택합니다. 다만, 학습은 이야기가 다릅니다. 사이트의 17%가 학습을 차단하기 위한 메커니즘을 활성화하기로 선택합니다. 이것이 바로 사이트 소유자가 일률적인 'Block AI(AI 차단)' 대신 더 세밀한 제어를 할 수 있는 방법이 필요하다고 저희가 결정한 이유입니다.

robots.txt 지시문만으로는 이 문제를 해결할 수 없습니다. 누구나 지시문을 게시할 수 있지만, 누가 크롤링하고 있는지, 왜 크롤링하는지 파악하거나, 지시문을 무시하는 크롤러를 중단시킬 수 없습니다.

하지만 네트워크가 이 문제를 해결할 수 있습니다. 저희는 선호도를 게시하고 누가 크롤링하는지 식별하며, 왜 크롤링하는지를 분류한 다음 이를 무시하는 사람들을 차단합니다. 그런 다음 각 운영자가 실제로 수행하는 작업을 Radar에 보고합니다.

그렇지만 차단하면 크롤러가 제거됩니다. 차단한다고 크롤러의 동작 방식이 변하지는 않습니다. 더 나은 결과를 얻으려면 운영자가 사용자에게 선택권을 주지 않아야 합니다. 그래서 7월 이후로 저희는 그들과 직접 대화하고 있습니다. 반응은 고무적이었습니다. 거의 모두가 사이트 소유자가 자체의 콘텐츠가 사용되는 방식에 대한 제어 방법과 투명성을 가져야 하며, 그들의 선택이 존중받아야 한다는 것에 동의했습니다. 사이트 소유자가 이를 이해할 수 있도록 저희는 'Accountable(책임 기업)'이라는 명칭을 만들었습니다.

Accountable로 지정되었다는 것은 현재 확보된 역량과 이 역량을 실현하겠다는 구체적인 약속을 모두 인정하는 것입니다. 자격을 얻으려면, 봇 운영자는 다음 요구 사항을 충족하거나 충족하겠다고 약속해야 합니다.

1. robots.txt 또는 유사한 표준을 통해 사이트 소유자가 AI 학습에서 제외되도록 하는 메커니즘.
2. 사이트 소유자가 AI 요약이 제외되도록 운영자와 함께 직접 설정할 수 있는 메커니즘. 내년에는 Cloudflare를 통해 가능함(자세한 내용은 아래 섹션을 참조하십시오).
3. 학습을 위해 어떤 페이지가 이용 가능하게 되었는지에 대한 URL 수준의 가시성 및 검색에서 콘텐츠가 나타난 방식을 보여주는 메트릭스.
4. AI 학습 거부가 기존 검색 결과에 영향을 미치지 않는다는 보장.

Apple, Google, Microsoft 모두 Accountable이 될 자격 요건을 충족함을 입증합니다. 이들은 각각 현재 사용 가능한 기능과 개발 중인 기능에 대한 시한을 정한 약속을 했습니다. 각 기업의 크롤러에 대한 세부 사항은 아래에 나와 있습니다.

새로운 보안 설정 옵션

Cloudflare에서는 봇을 행동에 따라 분류하며, 하나의 봇이 두 가지 이상의 행동을 보일 수 있습니다. 다음 세 가지 동작을 제어할 수 있습니다.

• 검색 - 검색 인덱스를 구축하기 위한 크롤링.
• 학습 - 모델을 학습시키거나 미세 조정하기 위한 크롤링.
• 에이전트 - 채팅 페치 봇 및 브라우저 사용 에이전트와 같은, 사람을 대신하여 페이지를 방문하는 사용자 지향 에이전트.

복합 용도의 크롤러는 검색과 학습을 모두 수행하는 하나의 크롤러입니다. 제어 방법이 없으면, 그 조합에 따라 위에서 설명한 선택의 과제가 만들어집니다. 사이트 소유자는 하나의 용도를 거부하면 다른 용도도 거부하게 됩니다.

웹 사이트 소유자에게 그러한 절충을 강요하지 않는 책임 있는 복합 용도 크롤러를 차단하지 않기 위해, 저희는 'Disallow AI Training(AI 학습 비허용)'이라는 새로운 설정을 도입합니다. Disallow AI Training은 robots.txt 파일에 추가되는 'Disallow: 지시문'에서 이름을 따왔습니다.

'차단' 설정은 이제 의미가 달라졌습니다

광고가 있는 페이지에서의 차단은 복합 용도 크롤러에 적용되지 않았습니다. 이들을 차단하면 검색 가능성에도 영향을 미칠 수 있기 때문입니다. 이제 새로운 Disallow AI Training 설정이 도입됨에 따라, 차단 및 '광고가 있는 페이지에서의 차단'은 복합 용도 크롤러를 포함하여 모든 학습 크롤러에 적용됩니다.

학습, 검색, 에이전트 제어는 도메인 수준에서 적용됩니다. Disallow AI Training 추가로 사용할 수 있는 설정은 다음과 같습니다.

1. 허용: 다른 설정이나 WAF 규칙에 의해 차단되지 않는 한 모든 크롤러가 허용됩니다.
2. AI 학습 비허용: 봇 기본 설정을 동기화하면 robots.txt에 적용 가능한 학습 금지 기본 설정이 게시됩니다. 검색을 위한 복합 용도의 크롤러는 허용됩니다. Amazon, Anthropic, Meta, OpenAI에서 운영하는 학습 전용 크롤러를 포함하여 다른 학습 크롤러는 모두 차단됩니다. 이러한 차단이 검색에 영향을 미치지는 않습니다. Disallow AI Training은 학습의 경우에만 설정으로 이용할 수 있으며, 검색이나 에이전트에서는 이용할 수 없습니다.
3. 광고가 있는 페이지에서의 차단: 복합 용도의 크롤러를 포함한 크롤러는 광고가 표시되는 것으로 감지된 페이지에서만 차단됩니다.
4. 차단: 복합 용도 크롤러를 포함한 모든 크롤러가 차단됩니다.

Disallow AI Training 기능은 robots.txt에서 선호 사항을 게시하여 작동합니다. 광고 전용 선호 사항은 그런 방식으로 표현될 수 없습니다. Cloudflare에서는 어느 페이지가 광고 역할을 하는지 감지할 수 있지만, 해당 목록은 너무 방대하고 자주 변경되므로 robots.txt에 나열할 수 없습니다. 그래서 광고가 있는 페이지에는 Disallow AI Training 옵션이 없습니다.

에이전트의 경우에는 복합 용도 크롤러와 같은 검색-노출 선택이 이루어지지 않으며, 인터넷에는 에이전트에 대한 허용 안 함 선호 사항을 표현하는 잘 정립된 지침이 아직 없습니다. 현재 저희는 에이전트를 위한 Disallow(비허용) 설정은 포함시키지 않고 있습니다. ai-prefs와 같은 표준이 성숙해지면, 저희는 이 접근 방식을 다시 검토할 계획입니다.

9월 15일에 변경되는 사항은?

Bot Management 및 AI Crawl Control에 다음과 같은 변경 사항을 적용할 예정입니다.

1. 광고가 있는 페이지에 대한 차단 및 차단 설정이 이제 Applebot, Bingbot, Googlebot 등 복합 용도의 크롤러에도 적용되므로, 설정은 검색뿐만 아니라 학습에도 영향을 미칩니다. 학습을 중단하고 검색을 유지하려면, Disallow AI Training을 선택합니다.
2. 'Block AI Bots'는 이제 더 세분화된 검색, 학습, 에이전트 제어를 위해 사용되지 않습니다.
3. Managed robots.txt는 Bot Preference Sync로 대체될 예정입니다. Managed Robots.txt를 활성화한 고객은 새로운 시스템으로 마이그레이션 됩니다.
4. Disallow AI Training은 특정 신규 도메인에 대한 권장 구성의 일부가 됩니다.
5. 기존 고객의 선호 사항은 아래에 설명된 대로 새 제어 방법으로 마이그레이션 됩니다.

사용자가 해야 할 일

거의 모든 경우, 아무 것도 하지 않아도 됩니다. 현재 설정이 자동으로 전환됩니다.

복합 용도 크롤러를 완전히 제거하고 싶다면, 이제 그렇게 말씀하셔야 합니다. 차단 선택. 이는 Applebot, Bingbot, Googlebot이 사용자의 사이트에 접근하는 것을 막으며, 검색도 포함됩니다.

검색/학습/에이전트 제어 방법을 사용한 적이 없는 기존 도메인

세부 설정을 구성하지 않은 사이트 소유자는 기존 'Block AI Bots' 설정을 기준으로 새로운 설정으로 마이그레이션 됩니다.

이전에 검색/학습/에이전트 제어 방법을 구성한 기존 도메인

이전에 세부 제어 방법을 구성했던 도메인에 대해서는, 새로운 정의에 따라 그 선택의 실질적 효과가 유지됩니다. 광고가 있는 페이지에서의 차단 또는 차단 설정을 이전에 선택한 경우 Disallow AI Training으로 마이그레이션 됩니다.

새 도메인에 대한 권장 사항

9월 15일부터 신규 도메인을 등록하는 고객은 해당 사이트에서 광고 수익이 창출되는지 여부에 따라 미리 설정된 두 가지 구성 중 하나를 선택할 수 있습니다. 광고 수익은 방문자가 실제로 페이지를 보는 것에 달려 있습니다. 학습은 방문을 답변으로 대체하고, 에이전트는 광고를 볼 사람이 없는 상태에서 페이지를 가져옵니다. 따라서 광고로 지원되는 사이트에 대한 사전 설정은 더 제한적입니다. 이러한 설정은 등록 중 또는 그 이후에 언제든지 변경할 수 있습니다.

신규 도메인에 대한 권장 설정.

이는 특정 복합 용도의 크롤러에 대해 무엇을 의미할까요?

Applebot, Bingbot, Googlebot은 Accountable입니다. Apple, Google, Microsoft에서는 게시자의 선택권과 투명성이라는 동일한 원칙을 약속했습니다. Disallow AI Training가 적용되어도 이들은 검색을 위해 사용자의 사이트를 계속 크롤링할 수 있습니다. 차단을 선택하면 이들을 완전히 막을 수 있습니다.

저희는 Amazon, Anthropic, Meta, OpenAI의 관련 크롤러도 Accountable로 분류합니다. 이들 조직에서 검색 및 학습 크롤러를 분리하므로 Cloudflare에서는 검색에 영향을 미치지 않고 학습 크롤러를 차단할 수 있습니다.

Applebot

Applebot은 사이트 소유자가 robots.txt 파일에 'Applebot-Extended'에 대한 Disallow 규칙을 추가하여 학습을 거부할 수 있도록 합니다. 사이트 소유자는 현재 페이지 HTML의 nosnippet 지시문을 통해 AI 요약에 대한 기본 설정을 지정할 수도 있습니다. 콘텐츠를 생성형 출력에서 제외하려면 콘텐츠를 유료화된 콘텐츠로 표시할 수도 있습니다. Applebot은 아직 URL 수준에서 검사할 도구를 제공하지 않습니다. 그러나 저희는 그 팀과 회동했고, 그 팀에서는 내년을 위하여 진행 중인 솔루션의 세부 사항을 공유했습니다. Apple에서는 또한 학습을 허용하지 않는 것이 검색 순위에 영향을 미치지 않는다고 언급했습니다.

Googlebot

Googlebot은 사이트 소유자가 robots.txt에 'Google-Extended'에 대한 Disallow 규칙을 추가하여 학습을 옵트아웃할 수 있도록 하며, 웹마스터 포털 내부에 사이트의 콘텐츠를 생성형 검색 결과에서 제외할 수 있는 토글을 제공합니다. Googlebot은 또한 사이트 소유자에게 검색 결과 및 AI 요약 결과에 관한 메트릭 및 보고서를 제공합니다. Google에서는 Google-Extended와 관련하여 사이트 소유자에게 추가적인 URL 수준의 투명성 도구를 포함해 이미 작업 중인 내용과 기존 및 최근에 출시한 제어 방법에 대한 정보를 공유했습니다. Google에서는 이 도구를 앞으로 몇 주 내에 출시할 예정입니다. Google에서는 Google-Extended를 허용하지 않는 것이 검색 순위에 영향을 미치지 않는다고도 밝혔습니다.

Bingbot

Bingbot은 Webmaster Tools에서 세부적인 제어와 투명성을 제공합니다. 사이트 소유자는 현재 Bing의 NOARCHIVE 메타 태그를 통해 AI 학습 선호 사항을 표현할 수 있습니다. Microsoft에서는 이 기능을 확장하고 있으며, 2027년 초를 목표로 robots.txt에서 도메인/사이트 수준의 '학습 금지' 선호 사항도 준수하기 위한 메커니즘을 구축하고 있습니다. 오늘 Bing에서 학습을 옵트아웃하려는 Cloudflare 고객의 경우 NOARCHIVE 태그를 사용하는 것 외에도, 사이트 소유자는 URL 차단 또는 콘텐츠 제거 도구를 사용할 수 있습니다. Microsoft에서는 NOARCHIVE가 검색 순위에 영향을 미치지 않을 것이라고도 밝혔습니다.

그 지원이 시작될 때까지 Disallow AI Training을 선택해도 robots.txt를 통해 Bing에 자동으로 학습 금지 선호 사항이 전달되지는 않습니다. 이는 Bingbot과 같은 복합 용도 크롤러에는 적용되지 않았던 이전 학습 블록 설정과 동일한 실용적인 동작입니다.

계속되는 진전

저희는 이러한 기능이 발전함에 따라 AI 크롤러의 모든 운영자와 계속 연락하고 소통할 계획입니다. Cloudflare Radar는 Accountable 크롤러 운영자가 제공하는 제어, 투명성, 보고를 공개적으로 추적합니다. 

인터넷을 더 나은 곳으로 만들기 위해서는 양측 모두 자율성을 가져야 합니다. 크롤러는 개방된 웹에 접근할 수 있어야 하고, 그 웹을 만드는 사람들은 자신의 작업이 어떻게 사용되는지를 의미 있게 통제할 수 있어야 합니다. 오늘의 발표는 그러한 균형을 향한 실질적인 진전을 보여줍니다.

진전을 위해서는 인프라 제공업체, 콘텐츠 제작자, 기술 기업, 인터넷 엔지니어링 태스크 포스(IETF)와 같은 표준화 기구가 협력하여 이러한 원칙을 개방적이고 상호 운용 가능한 표준으로 전환해야 합니다.

다음 계획: AI 요약

학습과 AI 요약은 사이트 소유자에게 각기 다른 질문을 제기합니다. 학습은 콘텐츠를 AI 모델 구축에 사용할 수 있는지 여부에 대한 질문입니다. 요약은 사람들이 어떻게 사업체를 발견하고 평가하며 궁극적으로 방문하는지에 영향을 미칩니다. 둘 다 중요하지만, 서로 다른 방식으로 사업체에 영향을 미칩니다.

AI 요약 기능 옵트아웃에 대한 제어는 첫 번째 단계입니다. Accountable로 지정된 업체들은 해당 기능을 제공하거나 제공하기 위한 작업을 완료하고 있으며, 이는 중요한 기준점을 설정합니다. 사이트 소유자가 거부할 수 있다는 것입니다.

하지만 요약 허용과 금지 중 하나를 사이트 전체에 적용하는 것은 여전히 단순한 접근 방식입니다. 올바른 결정은 사이트, 콘텐츠, 비즈니스 결과에 달려 있습니다. 게시자에게 있어 학습은 통제, 보상, 원본 콘텐츠의 지속 가능성에 관한 근본적인 질문을 제기합니다. 요약 정보는 다음과 같은 별도의, 그리고 종종 더 즉각적인 배포 문제를 야기합니다. 사용자가 게시자의 사이트를 방문할까요, 아니면 검색이나 AI 환경에서 그 답변을 이용할까요? 많은 다른 기업들에게 AI 요약은 잠재 고객과 웹 사이트 사이에 점점 더 큰 역할을 하고 있습니다. AI 요약은 질문에 답하거나, 대안을 비교하거나, 제품을 추천하거나, 방문 여부를 결정하는 데 도움을 줄 수 있습니다.

데이터는 복합적인 영향을 보여줍니다. 소비자의 절반 이상이 검색에서 요약을 읽으며, 이러한 소비자들은 요약을 읽은 후 검색을 중단할 가능성이 40% 이상 높습니다. 이로 인해 웹 사이트 방문 횟수가 감소할 수 있습니다. 하지만 AI Search에서 유입된 고객은 전통적인 검색에서 유입된 고객의 전환율에 비해 세 배에서 다섯 배 이상의 전환율을 보입니다. AI는 더 높은 관심을 가진 고객을 유도하면서 방문 횟수를 줄일 수 있습니다.

이는 본질적으로 좋거나 나쁜 것이 아닙니다. 광고로 자금을 지원받는 게시자는 방문자 수를 최적화할 수 있습니다. 소매업체에서는 구매 가능성이 더 높은 방문자가 적은 것을 선호할 수 있습니다. Cloudflare의 역할은 방문자의 선택을 대신하는 것이 아니라, 정보를 기반으로 결정을 내리는 데 필요한 가시성과 제어 방법을 제공하는 것입니다.

요약 옵트아웃은 강력한 시작이지만, 최종 상태는 아닙니다. 저희의 다음 목표는 웹 사이트 소유자가 요약이 비즈니스에 미치는 영향을 이해하고 콘텐츠 사용 범위를 더 효과적으로 제어할 수 있도록 지원하는 것입니다. ai-prefs와 같은 개방형 표준은 이를 가능하게 하는 중요한 부분이 될 것입니다.

이 대화에 대하여 의견을 주시거나 피드백을 제공하시려면 crawlercontrols@cloudflare.com으로 연락해 주십시오.

이 새로운 제어 방법은 모든 고객에게 제공되고, 모든 요금제에서 사용할 수 있으며, 도메인(존) 보안 설정에서 구성할 수 있습니다. 아직 Cloudflare를 사용하지 않고 계신가요? 무료로 시작하여 오늘 원하는 트래픽 제어 방법을 설정해 보세요.