「計算誤差と有効数字」 情報電子工学演習Ⅰ 工学基礎演習(2) Ⅰ. スケジュールの確認 5/27 概要説明 情報電子工学演習Ⅰ 工学基礎演習(2) 「計算誤差と有効数字」 Ⅰ. スケジュールの確認 5/27 概要説明 6/4 演 習 [計算機実習室] 6/11 9:00-9:30 助言ルーム [助言グループ別] 9:40~ 考 察 [S2-10] 6/18 レポートチェック [チェックグループ別]
Ⅱ.概要説明 1.目的 コンピュータにおける数の表現方法と 計算による誤差の発生について学ぶ。
Ⅱ.概要説明 1.目的 コンピュータにおける数の表現方法と 計算による誤差の発生について学ぶ。 ・コンピュータによる数値計算と数学の違い ⇒ コンピュータは有限の数を使い、 数学は無限の数を使っている 1/3 → 0.33333 333333333……. 小数点以下5桁まで 0.33333×3 = 0.99999 ≠ 1
まずは電卓で… ソニー製 SOBAX ICC-500W 1967年発売 世界初ポータブル電卓(充電池接続) トランジスタ1000個使用 26万(大卒初任給4万) ソニー製 SOBAX ICC-500W 1967年発売 (出典:電卓博物館 http://www.dentaku-museum.com/)
カシオ製 Casio Mini 1972年発売 価格:12,800円 10ケ月で100万台,3年で600万台の売上を記録 価格:12,800円 10ケ月で100万台,3年で600万台の売上を記録 (出典:電卓博物館 http://www.dentaku-museum.com/)
2.電卓ソフトの利用 <特徴> ・7桁までの計算 ・メモリーキー ・平方根計算 ・HSPで開発 「Dentakun 2号」
<メモリーキー> MC(メモリークリア) :メモリー計算結果を消去 MR(メモリーリコール):メモリー計算結果を呼び出し 例1)100×2+50×5の計算
例2)
例2) =0.064283
例2) ー 0.064283
例2) 小数点以下6位まで の7桁の数字 ー 0.064283 小数点以下6位まで の5桁の数字
0.064283 例2) ー 有効数字-測定値や計算値を表すのに信頼できる 意味のある数字 (位取りのための 先頭についた0は除く) 小数点以下6位まで の7桁の数字 ー 0.064283 小数点以下6位まで の5桁の数字 有効数字-測定値や計算値を表すのに信頼できる 意味のある数字 (位取りのための 先頭についた0は除く)
0.064283 例2) ー 有効数字-測定値や計算値を表すのに信頼できる 意味のある数字 (位取りのための 先頭についた0は除く) 小数点以下6位まで の7桁の数字 ー 0.064283 小数点以下6位まで の5桁の数字 有効数字-測定値や計算値を表すのに信頼できる 意味のある数字 (位取りのための 先頭についた0は除く)
※有効数字に関する補足 0.14 と 0.140 の有効数字は、何桁? 0.14 は2桁、0.140 は3桁 0.14 は、0.137や0.142が小数点以下3桁目で 四捨五入され、0.14となった可能性がある。 0.140 は、小数点以下3桁目が0であること を明示している。