Excelマクロでシステム開発|今すぐできる業務改善方法

 想定外事態連続発生でも、臨機応変に対応

国立大学法人 九州大学のページ国立大学法人 九州大学

九州大学工学研究院 特任助教

担当者様名

キーリー先生は、海外の太陽光・風力発電による発電量の推移と電力市場への影響を長期間に渡って分析しようとしていました。

計測機器データも海外のサイトからのダウンロードが必要でしたが、問題が2つありました。

1つは、特殊なセキュリティプロトコル「SFTP」を利用しなければならないこと、もう1つは大量のファイルを1つにまとめなければ分析がそもそもできないこと、です。

想定外の事態が次々と起こる中、何とか期日より前倒しで作業を終えることができたのは、過去の類似案件の経験(温度・湿度・雨量・・・などの計測データの加工)が活かせたからでした。

 ご依頼戴いた経緯

発電量は季節などの諸条件によって変化することから、長期間に渡って観測し、その傾向を踏まえた分析が求められます。

そこで、2009年~2018年までのデータを1つにまとめ、対話的に加工しながら分析することを想定し、1つのExcelファイルに10年分のデータが格納された状態にするところから、分析作業がスタートします。

ところが、ダウンロード対象が海外のサイトのためか、一般にはなじみの薄い「SFTP」というプロトコルを使っていたことから、これまでのやり方ではそもそもダウンロードができません。

もう1つの課題は、計測データが一定時間間隔毎に分断されており、各々に特殊なヘッダ情報が書き込まれていることから、「ヘッダ情報を除去する」「必要な情報のみに絞る」「1つのファイルにまとめる」ことが必要でした。何しろ10年分あるので、手作業でこれを行うのは、非現実的です。

 対応方針(当初)

FTPSというプロトコルはよく使われますが、SFTPとなるとまるで流儀が異なります。

このプロトコルは、過去に経験があったため、あまり苦労せずに取り扱いが可能でした。

もう一方の大量データについては、全て同じ様式であるとの事でしたので、「機械的に全ファイルのヘッダ情報を削除」「必要な要素(列)のみ抽出」するプログラムを作成し、1つにまとめるところも別の機能で対応することとしました。

これなら、プログラムの動作チェックさえきちんとしておけば、何万ファイルあっても同じ結果が保証できます。

 想定外事態(その1)

対象となるファイル数が多いことが予想されたので、データのダウンロードは夜間に行うこととしました。ところが、3日経ってもダウンロードがほとんど終わらず、4日目にしてエラーで止まってしまいました。

調べたところ、年によっては1ヶ月に80,000ファイル以上!もあることがわかり、これがために時間がかかっていたのです。

しかも、各ファイルは計測地点が異なるようで、内容も微妙に異なります。

やむを得ず、複数台のコンピュータで同時並行的にダウンロード処理を行う環境を整えるとともに、キーリー博士に確認の上、「ファイル名に特定の文字列が含まれているもののみ対象」「時系列的に最後のものを優先」「同じ内容であれば、1つに統合する」といったロジックを急遽(ダウンロード待ちの間に)作成し、最終的にはこれらのロジックを使って対処しました。

 想定外事態(その2)

合計40万ファイル近くをダウンロードした後、前述の各種ロジックを使ってファイルを加工し、共通様式のファイルに変換を加えていると、途中エラーで処理が止まってしまう事象が発生しました。原因を探ってみると、2014年を境に、ファイルのレイアウト(並び順など)が変わっています。

他にも変わったところが無いか確認の上、互換がとれるよう変換するロジックを更に追加することになりました。

 期限日直前に納品

こうした度重なる「想定外事態」に対応しながら、最終的にできあがったデータについて内容の検証(件数があっているか、合計値にばらつきは無いか・・・)を行った上で、分析しやすいよう1つのExcelのファイルにとりまとめてから納めることができました。

 お客様の感想

 クレッシェンド社を選んで戴いたのは、なぜでしょう?

複数あるデータ収集・統合関連サービスを提供している企業の中でも、豊富な実績を持っており、見積もり段階のデータ統合方法の整理についても非常に丁寧にかつ迅速に対応して頂けたためです。

 開発~導入まで、スムーズに行きましたか?

発電量データの数は膨大でしたが、大変スムーズに対応頂きました。

また統合を進めて頂く中で計測地点や内容が異なるファイルが出てくる等想定外事象が発生した際にも、臨機応変に迅速かつ丁寧に問題を解決し進めて頂きました。

 最終的にできあがったExcelファイルは、研究目的に寄与できましたか?

欧州の太陽光・風力発電による発電量が電力市場に与える影響(Merit Order Effect)について、統合頂いたデータを使用し分析を行うことができました。今後論文として公表される予定です。

 今後の展望をお聞かせ下さい

環境・エネルギー分野のデータを用いた分析は、データの収集・統合に労力を要する事が多々あります。

今後も高い専門性を有するデータ収集・統合処理が必要となった際には相談させて頂きたいと思います。

ありがとうございました。引き続き、よろしくお願いいたします。

 類似事例

サイトマップ

ロゴ、その他のサービス名、製品名は、米国 Microsoft Corporation の米国およびその他の国における登録商標または商標です。

Copyright© Crescendo Inc. All rights reserved.