7/8 【重要】不具合経過のご報告とお詫び

いつもSo-net blogをご利用いただきありがとうございます。

6月30日のメンテナンス以後、度重なる障害やメンテナンスの実施によりご迷惑をおかけしております。大変ご迷惑をおかけしておりますこと、重ねてお詫び申し上げます。

現在の状況および、今後の対策について述べさせていただきますとともに、
改めて皆様にご迷惑をおかけいたしましたことをお詫び申し上げます。

＜障害発生の状況＞
・6/30　午前1時より午後7時までの予定でメンテナンスを実施いたしましたが、開発環境で一部動作不具合が出たためリリースを1時間延期させていただき、午後8時にサービスを再開させていただきました。
しかし、一部のコメントが表示されない不具合と、文章の一部が表示されない問題が起こり、不具合修正のため、午後10時30分ごろ、サービスをいったん停止させていただきました。

・6/30　午後10時半より、翌7/1　午後2時までの予定でメンテナンスを実施いたしました。コメントのデータを新環境に再度移行する作業を実施し、午前3時より、動作検証を開始いたしました。コメントのデータ消失の問題は解決いたしましたが、文章の一部が表示されない問題の解消に手間取りました。新環境と旧環境の設定の一部の違いと、データベースのアプリケーション（DBMS）を変更したことに起因するいくつかの問題があり、この解消に努めました。最終的にデータベースの環境の再構築を行いましたが、作業が手間取り午後4時までリリースを延期させていただきました。
　その後、リリース準備をいたしましたが、負荷を軽減させるための処理に問題があり、再度リリースを延期させていただきました。最終的に、7/1午後10:45ごろ復旧いたしました。

・7/1　深夜より7/2午前9時ごろまで、アクセスしにくい状況が発生しておりました。アプリケーションの処理の効率化を行い、負荷の軽減を行いました。その後、いくつかの機能上の不具合があり、修正させていただきました。

・7/4　午後10時ごろ～7/5　午後0時ごろ、7/6　午前4時ごろ～午前10時ごろまで、つながりにくい状況が発生いたしました。お客様のご利用が少ない時間にも動作が不安定であったため調査を行ったところ、データベースのディスクの一部に問題が見つかりました。現在、ハードウェアベンダー様と一緒に調査を進めております。

・7/8　午後2時～午後3時半まで、ディスク装置の不具合の調査と対策のためサービスを停止させていただきました。調査はできましたが、根本的な解決を図ることはできませんでした。

＜現在の進捗＞
・急激な動作不安定の問題を除いて、正常稼動時には負荷状況が以前の環境よりかなり改善されていることが確認されております。ただし、急激な動作不安定の問題がまだ解消されておりません。

＜今後の対策＞
今後は急激な動作不安定の問題の究明と対策、アプリケーションの新環境への最適化のための一部遅い処理の改善などに取り組みます。

・現在、問題と考えられるディスク装置について、不具合箇所の特定のため調査・解析をハードウェアベンダー様と進めております。調査の結果によっては、ディスク装置の入れ替えを週末できるだけ早く実施する予定です。
このため、サービスを一時停止させていただく場合がございます。その際には改めてSo-net blog上で事前に告知させていただきます。

・あわせて、データベースの分散処理を進めております。また、必要な箇所に適宜メモリ増強などの処理を計画しております。アプリケーションにおいては、他のサービスから呼び出される処理を効率化するなど、更なる改善を行ってまいります。

ご利用の皆様には大変ご迷惑をおかけしておりますが、どうぞご理解のほどお願いいたします。

今後ともSo-net blogをよろしくお願いいたします。