記事一覧

SiReFaSoのrobots.txt対応

プチリニューアル

所々小さなバグが目立ってきて修正の必要に迫られたので修正ついでにSiReFaSoを少し改装しました。

HTMLの構造が変わったのでゴーストに関する投稿を表示するUserScriptが動かなくなります。修正版をアップロードしたので必要な方は更新願います。Operaの拡張はこちら。→sirefaso.oex

ついでにrobots.txtに対応しました。Pluginによる登録時および更新時に更新用サーバーのrobots.txtを見に行って、製作者によるアクセス拒否の意思表示がされていた場合は登録および更新を不受理とすることにしました。

参考→ ゴーストを紹介してほしくない場合の話

robots.txtの仕様は不勉強なもので私も詳しくないのですが、SiReFaSoのUser Agentを指定している人などいないと思うので、ワイルドカード指定のみを見ることにしています。具体的な例を挙げると、以下のようなrobots.txtを確認した場合は不受理となります。

User-agent: *
Disallow: /

巡回の度に見に行くのはつらいので登録時および更新時のみです。既に登録されてしまったものについては、更新時に不受理の場合に既に登録済みのものを登録抹消する仕様を検討しています(検討中)。