Hayami Kaito Web

timm の学習済みモデルで画像分類を転移学習する：データセットの作り方と学習パラメーター

timm から ImageNet で学習済みのモデルを持ってきて、自分の画像を分類するモデルを作る手順をまとめます。モデルの選び方、train / val のフォルダー構成、前処理の作り方、2 段階の学習と学習率などのパラメーター、保存と推論まで、花の写真で実際に動かしたスクリプトで解説します。

長谷寺から三輪の山の辺の道へ、神社と甘味と一杯の酒の日帰り旅

朝の長谷寺から三輪へ移り、大神神社から山の辺の道を檜原神社まで歩いた日帰りの記録です。焼き立ての草餅、にゅうめん、最中、そして最後に三輪駅前で飲んだ日本酒まで、食べ歩きも楽しい一日でした。

特徴量エンジニアリングと前処理のしくみ：スケーリング・欠損値・カテゴリ変数・リーク

表の形のデータをモデルに入れる前の前処理と特徴の作り方を、入門者向けに解説します。単位をそろえるスケーリング、欠損値の埋め方と欠損フラグ、種類の多いカテゴリ変数のターゲットエンコーディング、対数変換、評価を狂わせるリークを NumPy の計算例で確かめます。

混合ガウスモデルと EM アルゴリズムのしくみ：見えないグループを確率で推定する

いくつかのグループが混ざったデータから、グループの割合・平均・ばらつきを推定する混合ガウスモデルと EM アルゴリズムのしくみを、入門者向けに解説します。E ステップと M ステップのくり返し、k-means との違い、BIC によるグループの数の選び方、尤度が無限に大きくなる落とし穴を NumPy で実装して確かめます。

勾配ブースティングのしくみ：残差の足し算から XGBoost・LightGBM・CatBoost まで

表の形のデータでよく使われる勾配ブースティングのしくみを、入門者向けに解説します。学習率と木の本数、2 階微分を使う葉の値と分割の利得（XGBoost）、ヒストグラムによる分割（LightGBM）、カテゴリ変数の扱い（CatBoost）を NumPy で実装し、小さな計算例で確かめます。

不均衡データのしくみ：重み付け・サンプリング・SMOTE としきい値の関係

陽性が 1% しかないような不均衡なデータで分類のモデルを作るときの考え方を、入門者向けに解説します。重み付け・オーバーサンプリング・アンダーサンプリング・SMOTE・しきい値の調整を NumPy で比べ、どれも「しきい値をずらしている」のに近いこと、確率の補正、損の大きさからしきい値を決める方法、水増しの順番によるリークを確かめます。

LLM の評価のしくみ：ベンチマークの誤差・pass@k・LLM による採点・ハルシネーション

大規模言語モデル（LLM）の良し悪しをどう測るかを、入門者向けに解説します。ベンチマークの点数の誤差と問題の数、対にした比較、コード生成の pass@k、完全一致と F1、LLM に採点させるときの順番の偏り、データの混入とハルシネーションの評価を、NumPy の計算とシミュレーションで確かめます。

機械学習モデルの運用（MLOps）のしくみ：データドリフトの検知・監視・再学習

作った機械学習モデルを本番で使い続けるときに起きる問題と対策を、入門者向けに解説します。入力の分布のずれ（データドリフト）を PSI と KS 統計量で測る方法、答えの決まり方が変わるコンセプトドリフト、再学習のタイミングとデータの範囲の選び方を NumPy のシミュレーションで比べ、監視・デプロイのしくみも整理します。

正規化層のしくみ：バッチ正規化・層正規化・RMSNorm で深いネットワークを学習させる

深いニューラルネットワークの学習を安定させる正規化層のしくみを、入門者向けに解説します。層を重ねると値が消えたり膨らんだりする理由、バッチ正規化と層正規化の違い、学習時と推論時の違い、バッチが小さいときの弱点、Transformer で使われる層正規化と RMSNorm を NumPy で実装して確かめます。

RNN と LSTM のしくみ：隠れ状態・勾配消失・ゲートで長く覚える

文章や音声のような順番のあるデータを扱う RNN と LSTM のしくみを、入門者向けに解説します。隠れ状態の更新、時間方向の誤差逆伝播で勾配が消える理由、LSTM のセルとゲート、忘却ゲートのバイアスの効き方を NumPy で実装し、「最初の値を覚える」問題で確かめます。