Google Maps のダウンロード制限回避 (GM_Lite) その2

Posted by bucchi at 2008/12/14 - 22:37

新しいバージョンがリリースされています。新しいバージョンはダウンロードページへ。

一昨日、昨日と、Hiro 様と Matsu 様から、修正した down_imgs.pl でも地図がダウンロードできないとのご報告をいただきました。

私のほうでも確認してみたところ、確かに、全てではないものの 0 Byte PNG になってしまうようです。
しかも、何度ダウンロードしても同じ特定のファイルが 0 Byte になってしまうという、よくわからない状況でした。

ひとまず、FireFox で Google Maps を表示させたときのヘッダ情報を参考に修正したところ、0 Byte PNG は回避できましたので、公開します。

ファイル名を down_imgs.pl に変更して、GM_Lite を展開したディレクトリの bin/down_imgs.pl と差し替えてご使用ください。

ただ、rikimaru 様、Matsu 様の環境で発生するという、IO::Pipe のエラーは私の環境では再現しておらず、原因の目星がついていないため、こちらの問題はまだ対応できていません。

ひとまず、こちらのファイルでお試しください。

トラックバック


トラックバックは承認後に表示されます。
添付サイズ
down_imgs-2.pl.txt3.74 KB
Tags:

ありがとうございます。

こんにちはHiroです。

先日教えていただいた方法でダウンロード出来るようになったのですが、部分的に0byteになってしまう問題があって悩んでいたところに修正版のリリース。感謝感激です。

今後ともよろしくお願いします。

いえいえ

こちらこそ、「ダウンロードできました」なんて勘違いな返信をしていて申し訳ないです。
Matsu 様にさらにツッコミいれて頂かなかったら、ずっと勘違いしていたままだったかもしれません。
Matsu 様にも感謝感謝です。

ひとまず、ダウンロードできるようになったようでよかったです (^^)

ダウンロード制限回避 (GM_Lite) その2の件

 Matsuです。早々に対応いただき、ありがとうございます。本日、広島県の地図(6~4)をダウンロードしたところ、0byteとなることなくダウンロードできました。
 一方で、matsugoroさんからもコメントがありましたが、東京都(離島除く)で下記の部分が0byteとなったままでした。今回の修正版が公開される前に東京都をダウンロードしていて、ダウンロードできずに残っていた部分です。東京都の下記以外の地域が現在0byteとなるか否かは確認していません。

down_map("2", "115077", "57935:57936");
down_map("2", "115081", "57935:57936");
down_map("2", "115076", "57936");
down_map("2", "115080", "57936");
※レシピの中の2の最後の部分です。

お時間のあるときにご検討いただければ幸いです。

IO::Pipe エラーは再現しないとのこと、残念です。

0Byte PNG

確認してみた所、地図レシピの方が間違っているようです。

この座標は、日本本島よりももっと南の太平洋沖を指しており、離島部分を削除したときに、漏れてしまったデータと思われます。
そして、そのような太平洋沖の座標なので、ズームレベル 2 のような高精細の地図が存在せず、0 Byte ファイルになっていた模様です。

ということで、この座標の地図は無視していただいて問題ないです。
地図レシピの方も手が空いたときに更新しておきますね。
ご指摘ありがとうございました。

IO::Pipe のエラーの方は、発生している方々が結構いらっしゃるので、別の PC とかでも試してみます。

東京都レシピの0byte PNGの件

そうでしたか。本件も解決していただき感謝です。今後とも、よろしくお願いいたします。

ダウンロード制限回避 (GM_Lite) その2

ほぼあきらめかけていたところ、
修正版その2を作っていただいてありがとうございます。

さっそく試したところ、いままで0byteだっとところも
かなりダウンロードできました。
 ただ、私の環境(Windows XPsp3+Active perl)では途中で
止まってしまうのと、まだ0byte のファイルができます。

Bucchiさんの環境を
できればもう少し詳しくお教え願いますか?

Debian入門の本を買ったのですが、Linux環境へ移行
すればより完全に取得する可能性があるでしょうか?

ダウンロード途中で止まる

はじめまして、matsugoro 様。

やはり途中で止まってしまう方が多いのですね。
止まるときに何かメッセージがでますでしょうか?
IO::Pipe ・・・ といったメッセージであれば、今までの rikimaru 様や、Matsu 様と同じ現象だと思われます。

エラーメッセージが出ない場合、状況知るための手段として、down_imgs.pl の 76 行め辺りに、

             "-q",

という行があると思いますが、これを

 #            "-q",

のようにコメントアウトして、実行してみてください。
ダウンロード中の情報がすべて表示されるので画面がすごいことになりますが、止まったときの様子が何か分かるかもしれません。

私の環境は、Ubuntu 8.10 と Windows XP + Active Perl 両方で確認しています。
ただ、おそらくですが、Linux 環境にしても状況はあまり変わらないかもしれないです・・。

0byte のファイルのズームレベルはどれくらいでしょうか?
0〜2 位の詳細図の場合は、もともと地図が無い場合があります。

IO::Pipe エラーの件

エラーのログが取れましてので、お知らせいたします。環境はWindows XP + Active Perlです。エラーメッセージはログの下から9行目です。ログの行数が多いですがご容赦ください。(必要な箇所がわかりませんので)

以下ログです---------------------------------------------------------

connected.
HTTP request sent, awaiting response... 66.249.89.136, 66.249.89.93, 66.249.89.9
1, ...
Connecting to mt3.google.com|66.249.89.136|:80... Downloading z = 02, x = 00001
16322, y = 0000051647 from mt2 ...
--16:22:48-- http://mt1.google.com/mt?n=404&v=w2.89&hl=ja&x=116261&s=&y=51779&z
oom=0
=> `02/00/00/00/00/10/15/61/27/67/19.png'
Resolving mt1.google.com... 200 OK
Length: 13,374 [image/png]

0% [ ] 0 --.--K/s c
onnected.
100%[====================================>] 13,374 --.--K/s

66.249.89.93, 66.249.89.91, 66.249.89.190, ...
Connecting to mt0.google.com|66.249.89.93|:80... 16:22:48 (421.31 KB/s) - `02/00
/00/00/00/10/15/61/27/67/16.png' saved [13374/13374]

Downloading z = 02, x = 0000116322, y = 0000051648 from mt3 ...

--16:22:48-- http://mt0.google.com/mt?n=404&v=w2.89&hl=ja&x=116322&s=&y=51645&z
oom=0
=> `02/00/00/00/00/10/15/61/36/24/25.png'
Resolving mt0.google.com... 200 OK
Length: 10,670 [image/png]

0% [ ] 0 --.--K/s c
onnected.
100%[====================================>] 10,670 --.--K/s

16:22:48 (694.66 KB/s) - `02/00/00/00/00/10/15/61/27/67/17.png' saved [10670/106
70]

66.249.89.91, 66.249.89.190, 66.249.89.136, ...
Connecting to mt1.google.com|66.249.89.91|:80... --16:22:48-- http://mt1.google
.com/mt?n=404&v=w2.89&hl=ja&x=116322&s=&y=51646&zoom=0
=> `02/00/00/00/00/10/15/61/36/24/26.png'
Resolving mt1.google.com... Downloading z = 02, x = 0000116322, y = 0000051649
from mt0 ...
200 OK
Length: 9,101 [image/png]

0% [ ] 0 --.--K/s
connected.
100%[====================================>] 9,101 --.--K/s

HTTP request sent, awaiting response... open2: IO::Pipe: Can't spawn-NOWAIT: Res
ource temporarily unavailable at ..\bin\down_imgs.pl line 98
16:22:49 (555.48 KB/s) - `02/00/00/00/00/10/15/61/27/67/18.png' saved [9101/9101
]

66.249.89.93, 66.249.89.91, 66.249.89.190, ...
Connecting to mt0.google.com|66.249.89.93|:80...

ログここまで-------------------------------------------------------

IO::Pipe エラー

Matsu 様、返信遅くなってすいません。
ログの投稿ありがとうございました。

parallel = 4 なので、4 つの wget が平行しているのでちょっと読み解くのに
時間がかかるかもしれないですが、頑張って見てみますね。

IO::Pipe エラーの件 その2

ご返事いただき、ありがとうございます。
parallel = 1 でのログを取得しましたのでお知らせます。傾向としては、x座標が切り替わったときにエラーが発生するようです。お役に立てばいいのですが。 お時間のあるときにご検討いただければと思います。

ログここから-------------------------------------------------------

Downloading z = 02, x = 0000115019, y = 0000052392 from mt0 ...
--07:38:51-- http://mt0.google.com/mt?n=404&v=w2.89&hl=ja&x=115019&s=&y=52392&z
oom=0
=> `02/00/00/00/00/10/15/52/03/19/92.png'
Resolving mt0.google.com... 66.249.89.93, 66.249.89.91, 66.249.89.190, ...
Connecting to mt0.google.com|66.249.89.93|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 508 [image/png]

100%[====================================>] 508 --.--K/s

07:38:52 (496.09 KB/s) - `02/00/00/00/00/10/15/52/03/19/92.png' saved [508/508]

Downloading z = 02, x = 0000115019, y = 0000052393 from mt0 ...
--07:38:52-- http://mt0.google.com/mt?n=404&v=w2.89&hl=ja&x=115019&s=&y=52393&z
oom=0
=> `02/00/00/00/00/10/15/52/03/19/93.png'
Resolving mt0.google.com... 66.249.89.93, 66.249.89.91, 66.249.89.190, ...
Connecting to mt0.google.com|66.249.89.93|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1,693 [image/png]

100%[====================================>] 1,693 --.--K/s

07:38:52 (1.61 MB/s) - `02/00/00/00/00/10/15/52/03/19/93.png' saved [1693/1693]

Downloading z = 02, x = 0000115019, y = 0000052394 from mt0 ...
Downloading z = 02, x = 0000114909, y = 0000052392 from mt0 ...
open2: IO::Pipe: Can't spawn-NOWAIT: Resource temporarily unavailable at ..\bin\
down_imgs.pl line 98

ログここまで-------------------------------------------------------

ログありがとうございます!

なんどもログをとっていただきありがとうございます m(_ _)m

parallel = 1 のログ、非常にありがたいです。
おかげさまでちょっと尻尾を掴めたかもしれないです。
Downloading ・・・ の行の後には wget のログが出るはずなんですが、
最後の Downloading は 2行連続で出力されているので、何らかのエラーで
wget プロセスを実行できなかったのでしょう。

この辺のエラーハンドリングをすれば、エラーで止まるのを回避できるかもしれません。
ちょっと試してみます。

コンテンツの配信