【実況まとめ】マストドン会議3(1)イントロ ~ 鷲北賢&ぬるかるパート

この記事は約 11 分で読めます。

どうも、匠です。

マストドン会議3が開催されましたが、匠は参加できませんでした。。。

ばぁど
Follow

そうか。。。
マストドン会議なのだから、実況はTwitterではなくマストドンで行うのが定石ですよね。

ですよね!というわけで、実況をまとめてみました。トゥートを提供いただいた皆様、ありがとうございますー!

※もしマズいトゥートがあればご一報下さい。

スポンサーリンク

マストドン会議3

下記のニコ生ページからタイムシフト(録画)がご覧になれます。

マストドン会議3 ― ようこそ、Mastodon への “願望” と “思想” が交わる一日へ 生中継
マストドン会議3 ― ようこそ、Mastodon への “願望” と “思想” が交わる一日へ登壇者(50音順)・alarky(大阪丼管理人)・伊藤 将雄(株式会社ユーザーローカル代表取締役社長)・清水 亮(株式会社UEI 代表取締役社長兼CEO)・TOMOKI++/脇元寛之(ボカロドン運営/株式会社SGN代表取締役)...
スポンサーリンク

開始前



マストドンバッヂ

マストドンバッヂ2

Follow

遠藤さん自ら来場者に配ってまわってるマストトンバッジ。 39sounds.net/media/LYF2-TvBA4c



Follow

マストドン会議、聴衆側が半分くらい来ていないため開始が遅れるw




会場写真1

スポンサーリンク

イントロ/遠藤諭さんパート

☘️いつもの匠🌸 @itsumonotakumi

(遠藤)ネットはいまや「注文の多い料理店」=自分は客だと思ったら商品だった。

· Web · 1 · 1

☘️いつもの匠🌸 @itsumonotakumi

(遠藤)ITmediaは記事90本、遠藤さんは3本。。。

· Web · 1 · 0


Nothing found.


☘️いつもの匠🌸 @itsumonotakumi

(遠藤)データが氾濫する時台にはデータではなく「森」を見よ[スライド]
データサイエンティストはデータをいじれる人のことではない。森を浮かび上がらせられる職業の人。そういう新しい人。

· Web · 0 · 0

紹介されていた本はこちら。

森を見る力: インターネット以後の社会を生きる

森を見る力: インターネット以後の社会を生きる

橘川 幸夫
1,944円(01/21 16:19時点)
発売日: 2014/01/21
Amazonの情報を掲載しています

☘️いつもの匠🌸 @itsumonotakumi

(遠藤)ruby会議みたいにちゃんとしたものになるのを狙ったが、なんか違うけど。。。技術パートもできると良いなぁ。

· Web · 0 · 0

Nothing found.

☘️いつもの匠🌸 @itsumonotakumi

(遠藤)いきおいでやっちゃった感はあるが、来週月曜はマストドン会議4、大阪にいる方は来て下さい(宣伝)

· Web · 2 · 2

こちらですね。

マストドン会議4『地域インスタンスが、日本の経済も遊びも活性化する』関西インスタンス頂上編
※開始時間変更のお知らせ※18:00開場、18:30開始いたします2017/05/31 18:00イベント当日の様子が、公式ニコ生で生中継されることになりました。◆番組タイトルマス... powered by Peatix : More than a ticket.
マストドン会議4 『地域インスタンスが、日本の経済も遊びも活性化する』 生中継
マストドン会議4 『地域インスタンスが、日本の経済も遊びも活性化する』関西インスタンス頂上編登壇予定・【大阪】大阪丼管理人()・【京都】マストどす管理人()・【奈良】鹿トドン管理人() ほか、関西圏のインスタンス運用者など登壇予定■オープニングトーク林雅也(さくらインターネット株式会社 技術本部 UXデザイングループ)...

以上で遠藤さんパートおわり。

スポンサーリンク

鷲北賢&ぬるかるパート

☘️いつもの匠🌸 @itsumonotakumi

つぎはぬるかるさん と 鷲北さんのパート

· Web · 0 · 0


Nothing found.




ばぁど
Follow

ぬるかるさん、お世話になっております!!


takosuke✅
Follow

すごい。「ぬるかるです」で自己紹介終わらせた。なかなかない。




スライド1


Follow

node.jsのバージョンが変わったり言語検出用のやつが追加されたりとかに合わせてインフラ周りも改修しようとしていた


Follow

パラレルSSHは一発のSSHで全部に接続できるでおk?

· naumanni · 0 · 0 · 1

☘️いつもの匠🌸 @itsumonotakumi

先日、mstdn.jpはアップグレードした。まずはその経緯。
(ぬるかる)全てのサーバに対してSSHなどでやるのが面倒で、パラレルSSHを導入して1.3.3まではやっていた。
1.4はNode.jsが上がるなどあってヘビーなので、インフラ改修を行おうとしていた。

· Web · 2 · 2


☘️いつもの匠🌸 @itsumonotakumi

(ぬるかる)PC壊れてて焦ったけど、ソフトはGithubにあったので大丈夫。そんなこんなで一昨日に1.4.1にアップデートできた。
ダウンタイムは30秒くらい。
そしたら、その夜に1.4.2にオイゲンさんが上げていたのを見た。

· Web · 4 · 2


ばぁど
Follow

バージョンが上がったので、DB構成変わったのかー
やっぱなんのプロジェクトでもありますよね・・・(苦笑



☘️いつもの匠🌸 @itsumonotakumi

(ぬるかる)1.4.2のアップデートはつまづいた。
1.4.2では、PostgresSQLの大きな変更があった。前持って行う作業が必要となる模様。
※細かいところが匠にはわからないので意訳。

· Web · 2 · 1

Follow

.jp、1.4.2へのアップデート
外部キー制約、postgresql側で制御されてなかった→DBに不整合があったのでそこに手が入った。
不整合があるとmigrationがうまくいかないので、rakeタスクが用意された。
アプリサーバを止めてからタスクを走らせてmigrationしないとデッドロックして死ぬ。


☘️いつもの匠🌸 @itsumonotakumi

(ぬるかる)15~30分ほどmstdn.jpが止まった話。
systemdのコマンドで行うようにしていたが、systemdの仕様を勘違いしていた。指定を誤っていた。申し訳ない。
※細かい箇所は割愛。

· Web · 0 · 1


☘️いつもの匠🌸 @itsumonotakumi

(鷲北)アップデート難しい。インスタンスの運用たいへん。実は自分でできない。会社の若手にやって貰ってる。オイゲンさんにアップデート簡単にしてくださいとお願いした。
インスタンス止めてからキチンとやるのも大事。

· Web · 0 · 1

Tootdon公式アカウント
Follow

ぬるかるさんのアップデートの難しさについてのお話でした。

次は鷲北さんのZabbixでマストドンを監視する話。
(Zabbixは異常検知音がびっくりしますよね。。目が覚めます。)


☘️いつもの匠🌸 @itsumonotakumi

(鷲北)プログラミングはあまりやらない。インフラの御守が主。マストドンをどう監視してるかを紹介。

Zabbix でどう監視しているかの例を紹介する。

· Web · 0 · 1

ドライソ
Follow

マストドンの監視ツールについて
Zabbixというやつ



☘️いつもの匠🌸 @itsumonotakumi

(鷲北)ZABBIX説明。
ZABBIX以外も色々あるが、さくらでよく使ってるのはZABBIX。
使い易い(慣れている)。監視を作りやすい。テンプレが利点だし、プログラムもできる。障害対応の自動化も可能。
欠点は、グラフデザインは好みが分かれる。えとせとら。

· Web · 0 · 1

☘️いつもの匠🌸 @itsumonotakumi

(鷲北)個人サイトの監視画面を例に説明。

· Web · 0 · 0

☘️いつもの匠🌸 @itsumonotakumi

(鷲北)マストドンをどう運用するか。
監視、運用とは?異常を検知したら早く対処したい。一日ブラウザとにらめっこしてられない。サイドキックの標準ツールではアラートなどで補助ツールが必要。
ツールで自動化するのに、グラフ化は重要。異常と正常を区別するのは難しい。機械が判断するのが難しい。
マストドンの運用については経験が無いので、グラフ化で見える化した上で知見を貯めていこうとしている段階。

· Web · 2 · 0

Follow

異常と正常の区別が難しい。まずは知見を溜めてる



スライド:監視・運用
☘️いつもの匠🌸 @itsumonotakumi

(鷲北)基本。サーバが動いているか。基本メトリック。
ハードウェアの状態。基本メトリック。
アプリケーションの状態。about/moreをチェックして各数を見る。各画面やタイムラインを見る。APIリクエストして応答を見る。警告やアラートが飛ぶようにしておくと良い。

問題は多くのコンポーネントが多いこと。

· Web · 1 · 0

Nothing found.

Follow

ロードアベレージが20超えた時に慌てるべきか否か→ロードアベレージだけではわからない



Nothing found.

Nothing found.


☘️いつもの匠🌸 @itsumonotakumi

(鷲北)mstdn.jpのロードアベレージのグラフを解説。※細かすぎるので省略。
ロードアベレージだけを見てもリスク度は分からない。リソースと総合的に見ないと分からない。

mstdn.jpはメモリがリッチなサーバ。ほぼオンメモリで動けている。余裕のよっちゃんで動いている。

· Web · 2 · 0



Nothing found.

Nothing found.

フォロー

RedisはレコードのキャッシュからSidekiqキューの保持、StreamingAPIのnodeへのデータ配送など色々使われています


Nothing found.

☘️いつもの匠🌸 @itsumonotakumi

(鷲北)ミドルウェアの監視。
nginx, PostgersSQL, Sidekiqが主要なコンポーネント。
Sidekiqをしっかり監視することにした。

Sidekiqの状況を引っ張り出すコードを書いて、ZABBIXで監視。※グラフを解説。
毎秒1000ジョブ実施、毎5~6ジョブ失敗、これがどういう状態かはまだわからない。まだ見える化してるだけ。

Redisで処理した内容も見える化してみた。
コマンド数と、レイテンシをサンプリングして見える化。特に後者は偏差が大きく思案中。

Sidekiqのレイテンシとキューも見える化。
レイテンシは理想的には常に0が望ましい。処理中のメッセージ数はできるだけ少ないのが理想。

· Web · 1 · 1

ドライソ
Follow

グラブで可視化して頑張っているとのこと


☘️いつもの匠🌸 @itsumonotakumi

(鷲北)可視化された異常発生時の例を説明。

その1。Sidekiqキューが詰まったか何か。グラフには異常値が出てたが、サービスの影響は不明。クレーム無し。

その2。フェイルカウントの山が大きくなっていって、ストンとグラフが落ちた場合。
日本語ドメイン周りのエラーの影響だったか?エラー解消してストンと落ちた。

こんな感じで、本来は監視プログラムで検知して運営者が気づけるようにツールを回していきたい。理想。

· Web · 0 · 0

この辺はスライドのグラフをキチンと見たいところですね。

サルザル✅
Follow

Zabbixとは、サーバ、ネットワーク、アプリケーションを集中監視するためのオープンソースの統合監視ソフトウェアです。統合監視に必要な監視、障害検知、通知機能を備えています。多数のプラットフォームに対応したZabbixエージェントとSNMPに対応しているため、システム全体をZabbixひとつで監視することが可能です。
ユーザーのトゥートの監視とかに使えるわけじゃなさそうなのでこちらはスルーしますトドン

· Oyakodon · 0 · 1 · 1

Follow

みんなで分担して運用できる優しい世界



今後の取り組みたいテーマ

☘️いつもの匠🌸 @itsumonotakumi

(鷲北)今後やりたいテーマ。
・メトリックの動きから,異常を検知するロジックを組み立てる。
・異常を検知したら、通知する
  通知をみんなで分担して対応できるようにしたい。
・決まったワークフローをプログラム化する。[スライド]

今日のZABBIXテンプレートはGitHubへアップロードした。
github.com/ken-washikita/zbx-t

まだTriggerはない。

· Web · 0 · 0

↑プラグインの不具合で変な表示になりますが、リンクは合ってますので、ご勘弁ください。

☘️いつもの匠🌸 @itsumonotakumi

(ぬるかる)自分がやれてる監視以上にやってもらって有り難い。
世の中には、マストドンの監視スクリプトを書いている人もいる?マカレル?

· Web · 0 · 0

Tootdon公式アカウント
Follow

異常の可視化のグラフすごい。
Zabbix(や他の監視ツール)あればすごく便利ですねって話でした。
Zabbixは重いみたいです〜。

結構技術的なお話が多かったですね。
次はオイゲンさん出るのでしょうか?


Nothing found.


よくある質問
Nothing found.

Nothing found.

Nothing found.


環境
☘️いつもの匠🌸 @itsumonotakumi

(鷲北)こんなこともあろうかと。。。(オイゲンさんまちの時間繋ぎ?)
サーバスペックについて。
実はよく分かっていない。mstdn.jpは規模が大きすぎて、参考になるデータが集まらない。そこからは提示できない。

マストドン会議#2のアンケートをとった。それを元に知識をアップデート。
例1:ユーザー数 350、1core 2GBメモリ、40GBディスク。すぐに余裕がなくなったので、マストドンのバージョンアップ時にここまで増やした。1000ユーザーくらいは大丈夫なはず。

例2:ユーザー数90名。接続インスタンス220。
1core/2GB, 20GBディスク。Pawooとmstdn.jpはサイレンス設定。
アンケート時はディスクの秋が9GBしかなかったので、今は増設しているかも。
→ けっこうディスクを消費しやすい?画像、動画、音声のせい?

(ぬるかる)mstdn.jpはメディアをサーバー分けていて、圧倒的にディスクを食っている。

· Web · 2 · 1

Tootdon公式アカウント
Follow

鷲北さんからインスタンスのスペックについて。
これからインスタンスをたてたい人によく聞かれる「サーバーのスペックいくら必要?」についてはマストドン会議2で簡単なアンケートとったそうです。

1コア2GBメモリ、40GBディスクで1000ユーザーまではこのスペックで大丈夫かなと思っている。(あるユーザーさん)

1コア2GBメモリ、20GBディスクでPawooとmstdn.jpはサイレンス設定してる人。(別のユーザーさん)

メデイアはたくさんディスクを消費するみたい。
この話続ききになるけれど懇親会で、みたいです〜。


Nothing found.

☘️いつもの匠🌸 @itsumonotakumi

(鷲北)マストドンはスペック食い。。。
(例3を紹介する前に時間切れ。

· Web · 0 · 0


第一部はここまで。次のパート以降は下記の記事にてまとめています。

【実況まとめ】マストドン会議3(2)第二部 オイゲン&まつもとゆきひろ&ぬるかるパート
どうも、匠です。マストドン会議3が開催されましたが、匠は参加できなかった腹いせに実況をまとめました。今回は上記の記事の続きです。※もしマズいトゥートがあればご一報下さい。マストドン会議3下記のニコ生ページからタイムシ...
【実況まとめ】マストドン会議3(3)第三部 UEI清水亮パート
どうも、匠です。マストドン会議3が開催されましたが、匠は参加できなかった腹いせに実況をまとめました。今回も上記の記事の続きです。※もしマズいトゥートがあればご一報下さい。マストドン会議3下記のニコ生ページからタイ...
【実況まとめ】マストドン会議3(4)第四部 インスタンス管理者の座談会パート
どうも、匠です。マストドン会議3が開催されましたが、匠は参加できなかった腹いせに実況をまとめました。今回も上記の記事の続きです。※もしマズいトゥートがあればご一報下さい。マストドン会議3下記のニコ生ページから...
【実況まとめ】マストドン会議3(5)第5部 ユーザーローカル伊藤将雄パート〜エンディング
どうも、匠です。マストドン会議3が開催されましたが、匠は参加できなかった腹いせに実況をまとめました。今回も上記の記事の続きです。本記事の執筆以降、トゥート(投稿)が削除された、インスタンスが閉鎖されたなどの理由で...