msnが困った状態です

October 09 [Sun], 2016, 18:47
以前にもあったのですが、最近になって急に酷くなっています。 (以前の話)
.search.msn.com から UAが BingPreview/1.0b というクローラーが画像を狙って来ています。

robots.txtでアクセス許可していない画像ばかり狙ってます。 .htaccessでも当然チェックがかかってます。
このクローラー自体はrobots.txtを読んでおらず、 見てないから規制なんか知らんというスタンスです。

結果、すべて403ですが、その量が半端でない。次々浚いに来て、エラーログが見づらくなってます。

仕方ないので、該当するIPをルータ規制します。 65.55.213.0/24 131.253.24/22

今回は以前の時とは違うIPです。他のIPでも観測されたら、追加します。

その他、/apple-touch-icon-precomposed.png 関係のアクセスが凶悪化したようです。
アイコン取得時に通常のページアクセスと異なるUAで来るので 403が出る場合が多くなり、
403が返って取得できない場合、時間をおいて再度取りに来る行動が見られます。
だいたい、 apple-touch-icon は勝手に種類が増えるので迷惑です。もう、ブクマ登録しないで欲しいです。

迷惑クローラー 欧州より

October 26 [Mon], 2015, 19:15
ネット上で新規事業を立ち上げるのは簡単ですが、事を急いで信用を失うのも簡単です。

昨日から不振なクローラーが来ています。
 UAが Riddler (http://riddler.io/about) というやつです。
サイトを見ると、なにやらコンテンツサービスっぽいですが、事業者とか詳細不明。

まず、何度も何度も robots.txtを読みます。
 ちゃんと読んで理解しているなら良いのですが・・・ 続いて、 sitemap.xml を読みます。
それも、 {何度も何度も何度も続けて読み出し}× {断続的に繰り返す}
 sitemap を断続的に繰り返し読むというだけなら、更新頻度を調べているとも考えられますが、
 連続して何度も読むのは理解不能。
 そもそも robots.txtをちゃんと理解しているなら、これはルール違反でしょ。
という訳で、念のため .htaccessで規制。

で、今日はついに本性を暴露!!
サイト内のいろんなページに対して GET を続けて送って来ました。
先に入手してあった sitemapから取得したページを手当たり次第に読みだそうとしている様子です。
間一髪規制が間に合った感じですが、403がたくさん出るのも迷惑です。
ここは当然、ルータ規制です。
 node2.riddler.io と node3.riddler.io で、このアドレスを含むIPブロックを規制しました。
発信元は ドイツの会社のようで、ドイツ国内とフランスのホスティング会社(プロキシ?)から来ています。
 node1.riddler.io というのもあるようですが、は今のところは来ていません

[2015/11/22追記]
node-de-1.riddler.io と 5.9.121.118 o7.fi からも
UAが Riddler (http://riddler.io/about) でサイトマップを見に来ました。
直前に robots.txtを読むのも同じパターンです。
先日の規制で 403です。数回読みだそうとして、とりあえず退散した様子。

鯖交替

October 14 [Wed], 2015, 22:47
夏じゅう働いた「海モモ」にだいぶホコリが付いているので、急遽交替作業。
実は少し前から「空モモ」に対して一部ソフトの更新をおこなっていたのですが、それが案外すすっと進んだので。
少し様子を見た後で、海モモを清掃して、これもソフト更新します。(緊急時の予備用に)
入れ替え自体は30分もかからなかったですが、作業中は断続的に何度か鯖に繋がらなくなりました。
設定は同じですし、マシンも同じ。ソフト入れ替えましたが、実感としてはパフォーマンスも変わらない感じです。
このまま半年運転すると、また夏に海モモがあたってしまいますから、4か月交替ぐらいが良いのかもしれません。

怪しいものが多すぎます

August 05 [Wed], 2015, 17:25
最近はいろいろ怪しいものを飼っている人が多くて困ります。
多少は便利な事もあるのかもしれませんが、アフェリもやっていない弱小鯖には迷惑でしかありません。

何かのブラウザ拡張かもしれませんが、普通っぽいhtml GET の直後に、同じページに対して HEAD と GETが来ます
同じアドレスからのアクセスですから、コンテンツクローラーとかでは無さそうですが、UAが変です。
Mozilla/5.0 (X11; Linux x86_64; rv:10.0) Gecko/20150101 Firefox/20.0 (Chrome) だけ。

最初のアクセスが Windsows で Chrome/Safari ですから、VM環境の何かかもしれません。
いずれにしても、本体のアクセスはちゃんと リファラ送って来ますが、変なやつはカラです。
そのままでは大量の403が出るので迷惑。UAで規制してGET自体を403しましたが、それでも何度も繰り返して来ます。
IP規制も考えましたが、アクセス元はあちこちの普通のプロバイダ回線です。
おそらくアクセス元の中の人は気づいてないのでしょうけど、困った物です。
何か効果があるか判りませんが、しばらく301して様子見ます。


古い Windows と Internet Explor

May 03 [Sun], 2015, 9:12
Those who had been transferred to this page, please browse in a different environment.
Do not use old OS or old browser. There are security problems.

古いWindowsやIEからのアクセスには怪しい挙動の物が多いので規制中です。ここへリダイレントされています。
古い設定のネットワークの中にはこの規制に引っかかるものがあります。管理者に依頼して解消してください。
このページへ飛ばされて来た方は、別のパソコン等を使用してアクセスしてください。

[2016/09/17 追記]
 MSのWindows10キャンペーンが多少は影響したのでしょうか、今年6月頃からWindowsXP等古いOSからと思われるアクセスが目立って減少し、最近来ている物の大半はXPを詐称している怪しいクローラーのようです。挙動の怪しいプラグインやソフトからと見られるアクセスもあります。これらを排除する効果があるので、古いOSとIEに対する規制は続行します。

 一方、Vistaや窓7であっても、ブラウザが古いままという方は依然かなり見られます。ブラウザが初期のまま更新されていないパソコンであれば、OSのアップデートも適切におこなわれていない可能性が高いと思われます。特定のサイトやアプリの互換性のため古いIEを使わざるを得ない場合もあるでしょうが、その場合は一般のサイトを閲覧す時にはFirefoxとかCromといった(IEベースではない)別のブラウザを使うべきだと思います。

[2015/01/17 追記]
この1月13日で古いInternet Explorのサポートが切れました。IE8以前の物は元々脆弱な上に、今後はセキュリティパッチなどが提供されません。IE11に(Vistaの場合はIE9に)更新するか、IE以外でパッチが提供されるプラウザを使うべきです。(ChromのWindowsXPとVistaのサポートは今年4月で終了します)

パソコンのOSやブラウザなどのソフトにはセキュリティ上の「穴」が見つかることがあります。
古い製品は元々セキュリティ的な配慮が不十分である上に、サポートが切れた後はセキュリティ対策などがされません。

Windwos XPは約1年前にサポート終了しましたが、直後に大きな欠陥(複数)があることが公表されています。

Windwos XP を搭載したパソコンは多く販売されました。後継の Windows Vistaの出来が良くなかったこともあって、サポート切れが迫る時期で多く使用され、ネットセキュリティ上の問題となりました。
サポート切れの前後の時期は各種メディアなどでも大きく取り上げられ、この効果か Windows7などへの乗り換えが進み、利用者は激減しました。 {こちらを参照}

ところが最近になってまた Windows XPや古いブラウザからのアクセスが増えて来ている傾向があります。1年たってほとぼりが冷めたという事でしようか。しかし活動中のウィルスやワームが消滅した訳ではありません。そしてこれらの中には「どうも怪しい」アクセスが含まれています。OS自体の穴については、ブラウザにクロムや火狐を使っても塞がる訳はありません。


ヤプログ!広告
プロフィール
  • プロフィール画像
  • アイコン画像 ニックネーム:admin@bellstek.net
  • アイコン画像 現住所:大阪府
読者になる
メールフォーム

TITLE


MESSAGE