########################################################################################################################
### AI crawler reference                                                                                             ###
### The link below provides instructions to what kind of content can be used to train AI models on this website      ###
### https://jyllands-posten.dk/ai.txt                                                                                               ###
########################################################################################################################

Sitemap: https://jyllands-posten.dk/sitemapindex.xml

User-agent: *
Disallow: /soeg/*
Disallow: /incoming/
Disallow: /migration_catalog/
Disallow: /template/
Disallow: /banner/
Disallow: /xstream/
Disallow: /jptest/
Disallow: /aarhus/kompas/
Disallow: /service/topnyheder/biler/
Disallow: /service/topnyheder/bolig/
Disallow: /service/topnyheder/filmogtv/
Disallow: /service/topnyheder/madogvin/
Disallow: /service/topnyheder/rejser/
Disallow: /service/topnyheder/tema/
Disallow: /rabatkode/user/*
Disallow: /rabatkode/ajax/*
Disallow: /rabatkode/clickout/*
Disallow: /rabatkode/gotoshop/*
Disallow: /rabatkode/*/show/*
Disallow: /bestil/*

# Common crawl
User-agent: CCBot
Disallow: /

# OpenAI (ChatGPT)
User-agent: GPTBot
Disallow: /

# OpenAI (ChatGPT realtime search)
User-agent: ChatGPT-User
Disallow: /

# Anthropic
User-agent: anthropic-ai
Disallow: /