お客様の声

キーリー博士は、海外の太陽光・風力発電による発電量の推移と電力市場への影響を長期間に渡って分析しようとしていました。
計測機器データも海外のサイトからのダウンロードが必要でしたが、問題が2つありました。
１つは、特殊なセキュリティプロトコル「SFTP」を利用しなければならないこと、もう１つは大量のファイルを１つにまとめなければ分析がそもそもできないこと、です。
想定外の事態が次々と起こる中、何とか期日より前倒しで作業を終えることができたのは、過去の類似案件の経験（温度・湿度・雨量・・・などの計測データの加工）が活かせたからでした。

ご依頼戴いた経緯

発電量は季節などの諸条件によって変化することから、長期間に渡って観測し、その傾向を踏まえた分析が求められます。
そこで、2009年～2018年までのデータを１つにまとめ、対話的に加工しながら分析することを想定し、１つのExcelファイルに10年分のデータが格納された状態にするところから、分析作業がスタートします。
ところが、ダウンロード対象が海外のサイトのためか、一般にはなじみの薄い「SFTP」というプロトコルを使っていたことから、これまでのやり方ではそもそもダウンロードができません。
もう１つの課題は、計測データが一定時間間隔毎に分断されており、各々に特殊なヘッダ情報が書き込まれていることから、「ヘッダ情報を除去する」「必要な情報のみに絞る」「1つのファイルにまとめる」ことが必要でした。何しろ10年分あるので、手作業でこれを行うのは、非現実的です。

対応方針（当初）

FTPSというプロトコルはよく使われますが、SFTPとなるとまるで流儀が異なります。
このプロトコルは、過去に経験があったため、あまり苦労せずに取り扱いが可能でした。
もう一方の大量データについては、全て同じ様式であるとの事でしたので、「機械的に全ファイルのヘッダ情報を削除」「必要な要素（列）のみ抽出」するプログラムを作成し、1つにまとめるところも別の機能で対応することとしました。
これなら、プログラムの動作チェックさえきちんとしておけば、何万ファイルあっても同じ結果が保証できます。

想定外事態（その1）

対象となるファイル数が多いことが予想されたので、データのダウンロードは夜間に行うこととしました。ところが、3日経ってもダウンロードがほとんど終わらず、4日目にしてエラーで止まってしまいました。
調べたところ、年によっては1ヶ月に80,000ファイル以上！もあることがわかり、これがために時間がかかっていたのです。
しかも、各ファイルは計測地点が異なるようで、内容も微妙に異なります。
やむを得ず、複数台のコンピュータで同時並行的にダウンロード処理を行う環境を整えるとともに、キーリー博士に確認の上、「ファイル名に特定の文字列が含まれているもののみ対象」「時系列的に最後のものを優先」「同じ内容であれば、1つに統合する」といったロジックを急遽（ダウンロード待ちの間に）作成し、最終的にはこれらのロジックを使って対処しました。

想定外事態（その２）

合計40万ファイル近くをダウンロードした後、前述の各種ロジックを使ってファイルを加工し、共通様式のファイルに変換を加えていると、途中エラーで処理が止まってしまう事象が発生しました。原因を探ってみると、2014年を境に、ファイルのレイアウト（並び順など）が変わっています。
他にも変わったところが無いか確認の上、互換がとれるよう変換するロジックを更に追加することになりました。

期限日直前に納品

こうした度重なる「想定外事態」に対応しながら、最終的にできあがったデータについて内容の検証（件数があっているか、合計値にばらつきは無いか・・・）を行った上で、分析しやすいよう１つのExcelのファイルにとりまとめてから納めることができました。