ruby-list

sora_hです。

2011/5/9 Mitsuo KASAHARA <m.kasahara13@gmail.com>:
> と、小数点以下6桁の情報を持つ時刻情報の差分を計算したら、何故か
> 一つ目の方では
> 0.00629800000000004
> と
> 00000000004
> が余計にくっついて出力されました。

浮動小数点数の仕様で誤差が生じてしまいます。
参考:
* http://download.oracle.com/docs/cd/E19957-01/806-4847/ncg_goldberg.html
* http://wiki.github.com/rdp/ruby_tutorials_core/ruby-talk-faq#floats_imprecise
* http://en.wikipedia.org/wiki/Floating_point#Accuracy_problems

> パターンをイロイロ試したわけではないのですが、とあるログの時刻情報の差分を
> 大量に計算していたところto_fをしなかったときに390個中1個だけ
> 上記のように余計な桁が出力されました。
>
> 何が悪いのかよく分からないのですが、小数点以下6桁の引き算なので、
> そのまま小数点以下6桁（以内）の答えが欲しいのですが、どのようにしたら良いか
> ご助言いただけませんでしょうか。

誤差が無いのを望んでいるのなら、 BigDecimal (標準添付) の使用をおすすめします。
しかし、TimeからFloatに変換するときにすでに誤差が生じるなどで誤差無しは厳しいと思います。


-- 
Shota Fukumori a.k.a. @sora_h - http://codnote.net/

Thread

Prev Next

In This Thread

Prev Next

[#48023] ２つのCSVファイルの結合方法についてご質問 — askar k <tenzancode@...>

[#48029] CSVファイルのデータをソートしたい — askar <tenzancode@...>

[#48040] [ANN]第53回とちぎRubyの勉強会(toRuby)のご案内 — 米澤 慎 <vestige@...3.so-net.ne.jp>

[#48041] ruby 1.9.2とRails3 へのアップグレード — askar k <tenzancode@...>

[#48042] Re: ruby 1.9.2とRails3 へのアップグレード — "Endo Akira" <endo4917@...>

[#48044] Re: ruby 1.9.2とRails3 へのアップグレード — "Endo Akira" <endo4917@...>

[#48049] Re: ruby 1.9.2とRails3 へのアップグレード — "Endo Akira" <endo4917@...>

[#48050] Re: ruby 1.9.2とRails3 へのアップグレード — "Endo Akira" <endo4917@...>

[#48058] ruby-mswinceの実行方法について教えて下さい． — Kiyotaka ATSUMI <kiyotaka@...>

[#48059] [ANN] Windows(64)用Rails実行環境 「能楽堂」のリリース — arton <artonx@...>

[#48061] [ANN]Miyako2.1.21リリース — Twin <cyross@...>

[#48062] 小数点つき時刻情報とTime#parse — Mitsuo KASAHARA <m.kasahara13@...>

[#48065] Re: 小数点つき時刻情報とTime#parse 【解決だと思う】 — Mitsuo KASAHARA <m.kasahara13@...>

[#48082] ruby1.9系でのdbiを使ったselect_allについて — Mitsuo KASAHARA <m.kasahara13@...>

[#48083] Gem::Specification#default_executable= is deprecated — "ISHIKAWA Takayuki" <rechka_osaka@...>

[#48086] RubyKaigi2011に'CRuby'コミッタの皆さまを招待いたします(締切:2011-06-15) — Kakutani Shintaro <shintaro.kakutani@...>

[#48087] TokyuRuby会議03: 一般参加者募集のお知らせ — SAWADA Tadashi <moc.liamg.cesare@...>

[#48088] [ANN]第8回ぐんまRubyの勉強会(guRuby)のご案内 — Yuichi NANSAI <nansai@...>

[#48089] [ANN] 第14回 Online.sg: Online.kaigi.rb へのご案内; Online.kaigi.rb 発表応募開始のご案内 — "Shota Fukumori (sora_h)" <sorah@...>

[#48092] 後継者募集 — MoonWolf <moonwolf@...>

[#48093] eRuby文法の基礎 — MoonWolf <moonwolf@...>

[#48102] データ整形 — HIDE <u-zero@...>

[#48128] Ruby on Rails開発経験＋整数線形計画問題への対応可能者 — 石田太郎 <taro.ishida1215@...>

[#48129] [ANN]Miyako2.1.22リリース — Twin <cyross@...>

[#48130] 「Rubyリファレンスマニュアル刷新計画」2011-05分のスナップショットリリース — okkez <okkez000@...>

[#48131] [ANN]第54回とちぎRubyの勉強会(toRuby)のご案内 — 米澤 慎 <vestige@...3.so-net.ne.jp>

[ruby-list:48063] Re: 小数点つき時刻情報とTime#parse

Thread

In This Thread

[#48040] [ANN]第53回とちぎRubyの勉強会(toRuby)のご案内 — 米澤慎 <vestige@...3.so-net.ne.jp>

[#48059] [ANN] Windows(64)用Rails実行環境「能楽堂」のリリース — arton <artonx@...>

[#48131] [ANN]第54回とちぎRubyの勉強会(toRuby)のご案内 — 米澤慎 <vestige@...3.so-net.ne.jp>