小数点について2017年11月19日 12:46

表次郎において小数点桁数に関する設定欄がいくつか
出てきますがこれは現在の計算にdouble型(浮動小数点)を
使用しています。
そのため2進数を10進数に変換するときに発生する
誤差を丸めることで発生していないように見せかけるためです。

そのため有効小数点桁数の指定が明確に必要となり
簡易集計と関数指定などそれぞれに指示があります。
関数指定での有効小数点桁数のデフォルトは3桁です。

関数では4桁を指定した状態で簡易計算(デフォルトで有効小数点桁数3桁)すると合計が異なるといったことにはなるので
小数点を扱う場合は有効小数点桁数のことも良く考えて
使用していただけたらと思います。

また小数点を丸める現仕組みでは小数点の切り上げとか
切り捨てといった明確な小数点を扱うことは
出来ないこともご了承ください。

コメント

コメントをどうぞ

※メールアドレスとURLの入力は必須ではありません。 入力されたメールアドレスは記事に反映されず、ブログの管理者のみが参照できます。

※なお、送られたコメントはブログの管理者が確認するまで公開されません。

名前:
メールアドレス:
URL:
コメント:

トラックバック

このエントリのトラックバックURL: http://sakuyablog.asablo.jp/blog/2017/11/19/8730627/tb

※なお、送られたトラックバックはブログの管理者が確認するまで公開されません。