メンテナンス終了

終了時刻を大幅にオーバーしただけでなく、
サービス再開後も不具合が出たり再停止したり、
タイヘンご迷惑をおかけしました。

ちょっと今回の経緯を説明しますね。

　
最初に、メンテナンスの目的なんですが、
メディアマーカーの登録数が増えた（約100万件）ことによって、
検索などで時間がかかるようになってきました。

そのため、レスポンスの改善を目指して、
データベースに全文検索を導入することにしました。

　
主な作業内容は、以下の予定でした。

　・INDEXの見直し＆再構築
　・FULLTEXTの追加
　・データベースの最適化
　・テキスト形式でのデータベースバックアップ

　
あっさり終了するつもりだったんですが、
FULLTEXT追加に時間がかかったのが最初のツマズキ。

しかも、全文検索がうまく動作しないなど、
思わぬミスも重なりました。

さらに、バックアップにもかなりの時間をとられ、
予定時間を軽くオーバーする結果に…。

　
なんとか2時間遅れでサービスを再開したんですが、
いきなりのアクセス集中でデータベースがダウン。

データベースを再起動したものの、
今後はデータベースが破損するトラブル発生。

無事にデータベースは修復できたんですが、
サービス再開から修復（10:50-11:15）までに登録したデータは、
消失した可能性があります。（スミマセン）

　
その後、サービスを再開して動作確認していたんですが、
キャッシュデータやFULLTEXTが破損していることが判明。

このあたりの原因で、
Myバインダーの登録数が0件になる不具合も見つかりました。

　
再度、サービスを一時停止して、
キャッシュ破棄とFULLTEXT修復をして何とか完了…。

　
タイヘンお騒がせしました(^^ゞ

　
やっと落ち着いたようですが、
おかしなところがありましたらご連絡をいただけると助かります。

　
今回の反省点は、なんといっても準備不足。

FULLTEXTの追加時間など、作業時間の見積もりが甘く、
テストや動作確認の仕組みも足りませんでした。

　
それと、作業の詰め込みすぎも問題でした。

通常、データベースは、
バイナリ形式でバックアップしています。

今回、特に作業する必要はなかったんですが、
念のためにテキスト形式でも保存することにしたところ、
かなりの時間がかかってしまいました…。

こういった別作業は、
次の機会にすれば良かったかなーと。

できるだけWEBサービスを停止したくないので、
難しいところでもあるんですが。

　
そんなわけで、いろいろとご迷惑をおかけしました。

次回のメンテナンスではトラブルが起きないように、
しっかり準備したいと思います。