08
20
21
22
23
24
25
26
27
28
29
30
31
   

エクセルで大量のデータを扱う

キャプチャ
図1:決算プロからダウンロードした全上場銘柄の決算データを加工

日経平均株価の終値が半年ぶりの高値だそうで、ちょうど「9142 JR九州」の上場もあって、一日の売買代金が久しぶりに2兆円を超えています。


「絵で見る東証33業種」のシリーズは、裏では結構大変なデータを扱っています。

もとになっているのは、「上場企業の決算一覧を作成する」シリーズで作成方法を確認した一覧表です。

この表は、「東証上場銘柄一覧」と「日本株全銘柄」と「全上場企業・短信XBRL一括ダウンロード」を合体させています。

これが大変なデータ量です。特に短信データは四半期決算も含めて、3年分連結がある場合は個別と連結とです。そのまま使うと56000行以上あります。


このようなデータを扱っていると、エクセルはよくフリーズします。

また、実行しようとすると「これは無理かも。。。」ってな弱気のポップアップウィンドウが出ます。どうせフリーズするのでポップアップは出ないようにしました。

でもフリーズするのは変わりません。


フリーズの原因はデータ量ですから、メモリー不足です。いや。タスクマネージャで確認してもメモリーは十分空きがあります。

また、サブPCはメモリー4GBで、メインPCは8GBなので、メインPCで試してみましたが、やっぱり駄目です。

これは、1つのタスクが使用できるメモリーを超えているのが原因です。設定を変えれば使用できるメモリー量を増やせるかもしれませんが、下手に変更するとWindowsが使うメモリーを侵食しかねません。デフォルトで使うほうがよさそうです。


ということでどうするかというと、できるだけ軽めの作業に分割して実行するのがよさそうです。

図1は、全上場銘柄の決算データから四半期決算の行を一気に削除しようとしたのですが、何しろ5万件のデータから非表示設定をして表示されている行を選択して削除しますので、無理でした。

とはいっても、ここでデータ量を減らしておかないとこの先の作業ができません。そこで、とりあえず行の削除じゃなくてデータを消して、行の操作は後回しとします。

すべての行を選択して「DEL」キーを押すだけです。

その後フィルタを解除して、決算期で同様の作業をします。これならややこしいことは考えなくてもいいので、エクセルだって大丈夫です。


このようなデータはどうしても非表示を使いたくなります。この非表示は表示しないだけでデータは持ったままです。

東証に上場しているのは、約3500社です。つまり、56000行のデータで使うのは3500行ということです。

そこで、非表示にしたセルを完全に消し去ることで、3500行のデータに軽くできます。

そんな時には、シートを全選択して、コピーアンドペーストです。これで表示されているデータのみになります。


エクセルって便利なのですが、あくまでもオフィスで使うためのアプリケーションです。扱えるデータ量は限りがありますし、ややこしい計算をさせると誤差も出ます。

それでも電卓で56000件のデータを計算するよりもずっと精度が高いです。電卓だと絶対に間違える自信があります。

要はわかって上手に付き合っていくしかないと思っています。
Secret

プロフィール

もきち♪

Author:もきち♪
個人事業主ですが株式投資のほうが主体になっています。

投資スタイルは逆張りナンピン。チキンになりきれないひよこ投資家™でピヨピヨトレードです。

2007年に投資信託を始めて、2009年に国内株式の個別銘柄投資を始めました。

中小企業診断士(診断業務休止中)でオンライン情報処理技術者です。

ブログでは株式投資とコンピュータの話を中心に書いています。

きほんゆるめに。。。

【FISCOソーシャルレポーター】ってのに公認されました。


キャプチャ
もきち♪への直通メール

スピンオフサイト

ブログ内リンク

全ての記事を表示する
データをダウンロードできるサイト一覧

ブログ内検索

過去の記事

全ての記事一覧

カテゴリ

最新記事

ランキング




経済ニュース













使っている証券会社

スポンサーリンク

おすすめ



カンファレンスバナー

アフィリエイトフレンズ

クラウドソーシング「ランサーズ」

広告