ruby-list

星澤といいます。

NET:HTTP の get2 を使って、web robot に似たシステムを作成した
ところ、かなりの数のサイトで、アクセス時に例外が発生しました。
下記のテストプログラムを実行すると、以下のような結果になります。
いずれも、IEやNetscapeであれば、正常に表示されます。
回避策について、御存知の方がいれば、ぜひ教えて下さい。

-- 
星澤　隆 / Takashi Hoshizawa
mail: t_hoshizawa@mbg.nifty.com


テスト結果：

(Aパターン)
$ ruby http_test.rb http://www.interq.or.jp/tokyo/kk-kbys/
ERROR: Connection reset by peer
$ ruby http_test.rb http://www.nagata-h.net/
ERROR: Connection reset by peer

(Bパターン)
$ ruby http_test.rb http://www.yatchan.com/
ERROR: execution expired
$ ruby http_test.rb http://www.fujiwaramasashi.gr.jp/
ERROR: execution expired

(Cパターン)
$ ruby http_test.rb http://j-expert.com/
ERROR: execution expired
（Bと同じだが、うまくgetできる時もある）


テストプログラム 
(送信時、長い行が一部途中改行されてしまうかも知れません)

#!/usr/local/bin/ruby

# -----------------------------------------
# http_test.rb : net/http test program
#
# exsample:
#   $ ruby http_test.rb http://www.yahoo.co.jp
# -----------------------------------------

require 'socket'
require 'net/http'
require 'kconv'

def parse_http_url(url)
  host = port = abs_path = query = nil
  
  (host, port, abs_path, query), =
    url.scan(/^[hH][tT][tT][pP]:\/\/([^\/:]*)(?::(\d+))?(\/[^\?]*)?(.+)?/)
  if host
    if abs_path == nil
      abs_path = "/"
    end
    if port == nil
      port = 80
    end
  end

  return host, port, abs_path, query
end

url = ARGV.shift
host, port, abs_path, query = parse_http_url(url)

header = Hash.new
header['Accept'] = '*/*'
header['User-Agent'] = 'test'

begin
  http = Net::HTTP.new(host, port)
  Net::HTTP.version_1_2
  http.open_timeout = 10
  http.start
  
  http.read_timeout = 60
  response = http.get2(abs_path, header) do |rf|
    rf.body do |s|
      puts Kconv.kconv(s, Kconv::AUTO, Kconv::EUC)
    end
  end
  content_type = response['content-type']
  len = response['content-length'].to_i
  last_modified = response['last-modified']
  
  puts "----"
  puts "url: #{url}"
  puts "response_code: #{response.code}"
  puts "content_type: #{content_type}"
  puts "length: #{len}"
  puts "last_modified: #{last_modified}"
  http.finish
  
rescue
  puts "ERROR: #$!"
  if response
    puts "response_code: #{response.code}"
  end
end

Thread

Prev Next

In This Thread

Prev Next

[#33716] Re: set_path_for_r — "HAYAMA_Kaoru" <iyamatta.hayama@...>

[#33718] mod_ruby and letmesee... — Kazuhiko <kazuhiko@...>

[#33727] Cygwin で Ruby-GD-0.7.4 インストール？ — "井上 浩一" <kyoui32@...>

[#33731] [ANN] TMail 0.10.1 — Minero Aoki <aamine@...>

[#33732] 文字列の式展開について — Masao Mutoh <mutoh@...>

[#33736] Redefinition of builtin class — Shin-ichiro HARA <sinara@...>

[#33740] Net::SMTP.start の引数 — URA Takefumi <hage@...>

[#33757] [ANN] MySQL/Ruby Windows package(2.4.1-1) — "TAMURA.KENICHI" <sgs02516@...>

[#33762] WebDAV client — HIDAKA Takahiro <cv8t-hdk@...>

[#33783] [ANN] RubyCocoa 0.2.6 — FUJIMOTO Hisakuni <hisa@...>

[#33785] NET:HTTP get2 のエラー回避 — Takashi Hoshizawa <t_hoshizawa@...>

[#33791] 1.6.6 ref manual typo? — AOKI Yoshihiro <aoki@...>

[#33793] 右辺の値なしでも実行可能？ — "井上 浩一" <kyoui32@...>

[#33795] Re: 右辺の値なしでも実行可能？ — "井上 浩一" <kyoui32@...>

[#33802] Re: 右辺の値なしでも実行可能？ — "井上 浩一" <kyoui32@...>

[#33807] Re: 右辺の値なしでも実行可能？ — "井上 浩一" <kyoui32@...>

[#33827] ruby-postgres, PGconn.async_exec — m_seki@...

[#33832] [win32]ScriptControl — KANEKO Naoshi <wbs01621@...>

[#33838] 'tag' target of Makefile made by mkmf.rb for TAGS and tags file — NISHIMATSU Takeshi <t-nissie@...>

[#33844] No >2GB support ? — "Oliver M . Bolzer" <oliver@...>

[#33846] quickml サーバ — Satoru Takabayashi <satoru@...>

[#33848] ｘｘとして出し入れするメソッドの名前は？ — Take_tk <ggb03124@...>

[#33889] Ruby スクリプトサーバ + アプリと Apache+CGI アプリ — "井上 浩一" <kyoui32@...>

[#33893] Re: Ruby スクリプトサーバ + アプリと Apache+CGI アプリ — "井上 浩一" <kyoui32@...>

[#33906] Re: Ruby スクリプトサーバ + アプリと Apache+CGI アプリ — "井上 浩一" <kyoui32@...>

[#33915] Re: Ruby スクリプトサーバ + アプリと Apache+CGI アプリ — "井上 浩一" <kyoui32@...>

[#33916] Walrus/OBAQ メーリングリスト — Taku Nakajima <tnakajima@...>

[#33926] 破壊的な代入について — Himuro UTO <himuro-uto@...>

[#33941] [watch] 情処 FI&DD 2002-3-15 — Noritsugu Nakamura <nnakamur@...>

[#33954] [PATCH] ruby-mode.el fontification & rescue modifier — nobu.nakada@...

[#33959] Re: Ruby スクリプトサーバ + アプリと Apache+CGI アプリ — "井上 浩一" <kyoui32@...>

[#33962] Re: Ruby スクリプトサーバ + アプリと Apache+CGI アプリ — "井上 浩一" <kyoui32@...>

[#33964] pdflib-0.7 PDF クラスの継承について — "Makoto Matsukawa" <racer-m@...>

[#33966] 「たまてばこ」開発版が SecurityE rror — dellin <dellin@...>

[#33975] rescue exception raise in load — Kazuhiro Yoshida <moriq.kazuhiro@...>

[#33988] FileTest.exist?("") の値の UNIX と Windows との違い — Akira Suzuki <a-suzuki@...>

[#33994] Shell#expand_path に ~ の入ったパスを渡したとき — Hiroshi Saito <HiroshiSaito@...>

[#33997] JOLT award — matz@... (Yukihiro Matsumoto)

[#34003] Bignum と負の Fixnum の bit 和について — ISAMU KOZUKA <kozuka@...>

[#34006] for_fd したソケットの close — HIRATA Naoto <hirata-naoto@...>

[#34010] si-bu-ra-gu — MAP2303@...

[#34012] [] について — Tadashi Oh-Ya <toy@...>

[#34015] 現在使用中の ruby.dll のパスは分かりますか？。 — Take_tk <ggb03124@...>

[#34021] localized document — HIDAKA Takahiro <cv8t-hdk@...>

[#34023] RDTool で箇条書きの後に pre 要素 — "Yasushi Oka" <oka@...>

[#34028] Re: RDTool で箇条書きの後に pre 要素 — "Yasushi Oka" <oka@...>

[#34030] Ruby Gem Box — Noritsugu Nakamura <nnakamur@...>

[#34037] 左辺項が１つの時の多重代入 — "Shirai,Kaoru" <shirai@...1jp.com>

[#34044] クラスメソッドの呼び出し元 — Takashi SUGA <suchowan@...>

[#34046] Cygwin 版で拡張ライブラリの拡張子が so などのファイルはどのディレクトリにはいるのでしょうか？ — "井上 浩一" <kyoui32@...>

[#34050] nil.to_f — ABE Shigeru <shiger-a@...>

[#34053] 漢数字 -> 数 — TOYOFUKU Chikanobu <toyofuku@...>

[#34056] ruby-dev summary — TAKAHASHI Masayoshi <maki@...>

[#34087] already initialized constant — 島田喜郎 <shimada@...>

[#34107] File#pos とファイルへの書き込み位置との整合性 — 堀川 久 <vzw00011@...>

[#34121] date3 in date2 — "NAKAMURA, Hiroshi" <nakahiro@...>

[#34127] singleton class and anonymous class — matz@... (Yukihiro Matsumoto)

[ruby-list:33785] NET:HTTP get2 のエラー回避

Thread

In This Thread

[#33727] Cygwin で Ruby-GD-0.7.4 インストール？ — "井上浩一" <kyoui32@...>

[#33793] 右辺の値なしでも実行可能？ — "井上浩一" <kyoui32@...>

[#33795] Re: 右辺の値なしでも実行可能？ — "井上浩一" <kyoui32@...>

[#33802] Re: 右辺の値なしでも実行可能？ — "井上浩一" <kyoui32@...>

[#33807] Re: 右辺の値なしでも実行可能？ — "井上浩一" <kyoui32@...>

[#33889] Ruby スクリプトサーバ + アプリと Apache+CGI アプリ — "井上浩一" <kyoui32@...>

[#33893] Re: Ruby スクリプトサーバ + アプリと Apache+CGI アプリ — "井上浩一" <kyoui32@...>

[#33906] Re: Ruby スクリプトサーバ + アプリと Apache+CGI アプリ — "井上浩一" <kyoui32@...>

[#33915] Re: Ruby スクリプトサーバ + アプリと Apache+CGI アプリ — "井上浩一" <kyoui32@...>

[#33959] Re: Ruby スクリプトサーバ + アプリと Apache+CGI アプリ — "井上浩一" <kyoui32@...>

[#33962] Re: Ruby スクリプトサーバ + アプリと Apache+CGI アプリ — "井上浩一" <kyoui32@...>

[#34046] Cygwin 版で拡張ライブラリの拡張子が so などのファイルはどのディレクトリにはいるのでしょうか？ — "井上浩一" <kyoui32@...>

[#34107] File#pos とファイルへの書き込み位置との整合性 — 堀川久 <vzw00011@...>