<div dir="ltr"><p style="font-family:Arial,Helvetica,sans-serif;font-size:13px;line-height:19.4375px">Googlebot (but not all search engines) respects some pattern matching.</p><ul style="font-family:Arial,Helvetica,sans-serif;font-size:13px;line-height:19.4375px">

<li>To match a sequence of characters, use an asterisk (*). For instance, to block access to all subdirectories that begin with private:<pre>User-agent: Googlebot
Disallow: /private*/</pre><pre><br></pre></li></ul><div class="gmail_extra"><br></div><div class="gmail_extra" style>So in your example</div><div class="gmail_extra" style><br></div><div class="gmail_extra" style>User-Agent: *</div>

<div class="gmail_extra" style>Disallow: /wiki/Special*</div><div class="gmail_extra"><br></div><div class="gmail_extra">Will work for google. I am not sure bingbot obeys it.</div><div class="gmail_extra"><br><div class="gmail_quote">

On Tue, Apr 30, 2013 at 2:38 PM, Andy Isaacson <span dir="ltr"><<a href="mailto:adi@hexapodia.org" target="_blank">adi@hexapodia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

On Tue, Apr 30, 2013 at 02:31:37PM -0700, Ben Kochie wrote:<br>
> I added a robots.txt to <a href="https://noisebridge.net" target="_blank">https://noisebridge.net</a><br>
><br>
> User-agent: *<br>
> Disallow: /wiki/Help<br>
> Disallow: /wiki/MediaWiki<br>
> Disallow: /wiki/Special:<br>
> Disallow: /wiki/Template<br>
> Disallow: /wiki/skins/<br>
><br>
> I noticed bingbot is uselessly crawling the entire contents of<br>
> Special:RecentChanges.<br>
<br>
Is robots.txt a prefix, or a directory based exclusion scheme? �Will<br>
"Disallow: /wiki/Special:" cause bingbot to skip<br>
"/wiki/Special:RecentChanges"?<br>
<br>
-andy<br>
_______________________________________________<br>
Rack mailing list<br>
<a href="mailto:Rack@lists.noisebridge.net">Rack@lists.noisebridge.net</a><br>
<a href="https://www.noisebridge.net/mailman/listinfo/rack" target="_blank">https://www.noisebridge.net/mailman/listinfo/rack</a><br>
</blockquote></div><br></div></div>