Help us understand the problem. What is going on with this article?

当たり前だけどハマった-2進数の世界で小数計算

More than 1 year has passed since last update.

何が起きたか

var d = 1;
obj.setPoint(1717 * Math.pow(0.1, d));

なんてコードを書いたら「171.7」ってセットされる。
と思ってしまった。
でも、実際には「171.70000000000002」がセットされた。

どうして?

理由は簡単、コンピュータは2進数の世界で動いてます。
なので2進数で表現しきれないものは誤差が出る。
当たり前。。。
小数なんか使うから(。´・ω・)

どうする?

小数を使わずに整数にしてから桁移動させればいいんじゃない?
っていうのが一般論なんだろうくらいによく言われてる。
でも、今ははなから桁移動させたいだけ。
整数にするなんてあまりにイケてない。

どうしたか

小数の掛け算するからおかしくなるんで、整数で割ることにした。

var d = 1;
obj.setPoint(1717 / Math.pow(10, d));

これできれい。

Why do not you register as a user and use Qiita more conveniently?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away