~/tech
Tech
技術記事・開発メモ
timm の学習済みモデルで画像分類を転移学習する：データセットの作り方と学習パラメーター
timm から ImageNet で学習済みのモデルを持ってきて、自分の画像を分類するモデルを作る手順をまとめます。モデルの選び方、train / val のフォルダー構成、前処理の作り方、2 段階の学習と学習率などのパラメーター、保存と推論まで、花の写真で実際に動かしたスクリプトで解説します。
特徴量エンジニアリングと前処理のしくみ：スケーリング・欠損値・カテゴリ変数・リーク
表の形のデータをモデルに入れる前の前処理と特徴の作り方を、入門者向けに解説します。単位をそろえるスケーリング、欠損値の埋め方と欠損フラグ、種類の多いカテゴリ変数のターゲットエンコーディング、対数変換、評価を狂わせるリークを NumPy の計算例で確かめます。
混合ガウスモデルと EM アルゴリズムのしくみ：見えないグループを確率で推定する
いくつかのグループが混ざったデータから、グループの割合・平均・ばらつきを推定する混合ガウスモデルと EM アルゴリズムのしくみを、入門者向けに解説します。E ステップと M ステップのくり返し、k-means との違い、BIC によるグループの数の選び方、尤度が無限に大きくなる落とし穴を NumPy で実装して確かめます。
勾配ブースティングのしくみ：残差の足し算から XGBoost・LightGBM・CatBoost まで
表の形のデータでよく使われる勾配ブースティングのしくみを、入門者向けに解説します。学習率と木の本数、2 階微分を使う葉の値と分割の利得（XGBoost）、ヒストグラムによる分割（LightGBM）、カテゴリ変数の扱い（CatBoost）を NumPy で実装し、小さな計算例で確かめます。
不均衡データのしくみ：重み付け・サンプリング・SMOTE としきい値の関係
陽性が 1% しかないような不均衡なデータで分類のモデルを作るときの考え方を、入門者向けに解説します。重み付け・オーバーサンプリング・アンダーサンプリング・SMOTE・しきい値の調整を NumPy で比べ、どれも「しきい値をずらしている」のに近いこと、確率の補正、損の大きさからしきい値を決める方法、水増しの順番によるリークを確かめます。
LLM の評価のしくみ：ベンチマークの誤差・pass@k・LLM による採点・ハルシネーション
大規模言語モデル（LLM）の良し悪しをどう測るかを、入門者向けに解説します。ベンチマークの点数の誤差と問題の数、対にした比較、コード生成の pass@k、完全一致と F1、LLM に採点させるときの順番の偏り、データの混入とハルシネーションの評価を、NumPy の計算とシミュレーションで確かめます。
機械学習モデルの運用（MLOps）のしくみ：データドリフトの検知・監視・再学習
作った機械学習モデルを本番で使い続けるときに起きる問題と対策を、入門者向けに解説します。入力の分布のずれ（データドリフト）を PSI と KS 統計量で測る方法、答えの決まり方が変わるコンセプトドリフト、再学習のタイミングとデータの範囲の選び方を NumPy のシミュレーションで比べ、監視・デプロイのしくみも整理します。
正規化層のしくみ：バッチ正規化・層正規化・RMSNorm で深いネットワークを学習させる
深いニューラルネットワークの学習を安定させる正規化層のしくみを、入門者向けに解説します。層を重ねると値が消えたり膨らんだりする理由、バッチ正規化と層正規化の違い、学習時と推論時の違い、バッチが小さいときの弱点、Transformer で使われる層正規化と RMSNorm を NumPy で実装して確かめます。
RNN と LSTM のしくみ：隠れ状態・勾配消失・ゲートで長く覚える
文章や音声のような順番のあるデータを扱う RNN と LSTM のしくみを、入門者向けに解説します。隠れ状態の更新、時間方向の誤差逆伝播で勾配が消える理由、LSTM のセルとゲート、忘却ゲートのバイアスの効き方を NumPy で実装し、「最初の値を覚える」問題で確かめます。
ラベルが少ないときの機械学習：半教師あり学習・能動学習のしくみ
正解ラベルを付けたデータが少ないときに使える、半教師あり学習と能動学習のしくみを、入門者向けに解説します。自己訓練（疑似ラベル）・グラフの上のラベル拡散・迷っている点から聞く不確実性サンプリングを NumPy で実装し、ラベルが 6 件・数十件のときにどれだけ効くかと、効かない条件を確かめます。
転移学習とファインチューニングのしくみ：少ないデータで学習済みモデルを使い回す
別の問題で学習したモデルを、データの少ない新しい問題に使い回す転移学習のしくみを、入門者向けに解説します。ゼロからの学習・最後の層だけの学習・全体の微調整の違い、データの量と問題の近さによる使い分け、学習率と「元の問題を忘れる」現象を NumPy の小さな実験で確かめます。
製造業の画像検査 AI の使い方と作り方：撮像・手法選び・しきい値・運用まで
工場の外観検査を AI で自動化するときの考え方を、機械学習の入門者向けに解説します。ルールベースとの使い分け、カメラと照明、分類・検出・セグメンテーション・異常検知の選び方、見逃しと過検出のしきい値、照明の変化への備えを、NumPy の小さな計算例で確かめます。
AI 開発のキープレイヤー年表：研究者・企業・経営者でたどる 80 年
ニューラルネットワークの誕生から ChatGPT、生成 AI ブームまで、AI の研究とビジネスを動かしてきた研究者・企業・創業者経営者を時代順に整理します。誰が何を作り、それが次の誰につながったのかが分かります。
異常検知のしくみ：外れ値・マハラノビス距離から LOF・Isolation Forest・再構成誤差まで
「いつもと違う」データを見つける異常検知のしくみを、機械学習の入門者向けに解説します。標準偏差と中央値による外れ値の検出、相関を考えるマハラノビス距離、k 近傍距離・LOF・Isolation Forest の比較と PR-AUC による評価、主成分分析の再構成誤差による故障の検知を NumPy の小さな計算例で確かめます。
ニューラルネットワークの学習のしくみ：誤差逆伝播法を手で計算する
ニューラルネットワークが重みを学習するときに使う誤差逆伝播法を、機械学習の入門者向けに解説します。連鎖律・自動微分・2 層のネットワークの勾配を手で計算して数値微分で確かめ、XOR の学習・重みの初期値・勾配消失までを小さな計算例でたどります。
ベイズ機械学習のしくみ：事前分布・事後分布からガウス過程・ベイズ最適化まで
予測の値だけでなく「どれくらい自信があるか」も扱うベイズ機械学習のしくみを、機械学習の入門者向けに解説します。コイン投げの事前分布と事後分布、データのない場所ほど予測の幅が広がるガウス過程による回帰、周辺尤度によるハイパーパラメーターの選び方、少ない試行で学習率を探すベイズ最適化を NumPy の小さな計算例で確かめます。
因果推論のしくみ：相関と因果の違い・A/B テスト・傾向スコア
「広告を見せたから買ったのか、もともと買う人に見せたのか」を見分ける因果推論のしくみを、機械学習の入門者向けに解説します。シンプソンのパラドックス、交絡で効果を 5 倍に見誤る例、ランダムに分ける A/B テストと信頼区間、傾向スコアによる重み付けと層別、観察できない交絡の限界を NumPy の小さな計算例で確かめます。
深層学習以前の機械学習：線形回帰・ロジスティック回帰・決定木・SVM
ニューラルネットワークが主役になる前から使われてきた機械学習の手法を、入門者向けに解説します。線形回帰・ロジスティック回帰・決定木とジニ不純度・ランダムフォレスト・勾配ブースティング・k 近傍法・SVM とカーネル法を NumPy だけで実装し、小さな計算例で違いを確かめます。
クラスタリングと次元削減のしくみ：k-means・DBSCAN・PCA・t-SNE
正解のラベルがないデータから、まとまりや少ない数の要因を見つける「教師なし学習」のしくみを、機械学習の入門者向けに解説します。k-means と k-means++・エルボー法とシルエット係数・DBSCAN・主成分分析（PCA）・t-SNE を NumPy で実装し、小さな計算例で確かめます。
機械学習の判断を説明するしくみ：並べ替え重要度・部分依存・SHAP
機械学習のモデルが「なぜその予測をしたのか」を説明する方法を、機械学習の入門者向けに解説します。並べ替え重要度と相関のある特徴の落とし穴、部分依存のグラフ、シャープレイ値を総当たりで計算する SHAP を、勾配ブースティングで中古マンションの価格を予測する NumPy の小さな計算例で確かめ、画像や LLM の説明の方法もたどります。
グラフニューラルネットワークのしくみ：メッセージパッシングから GCN・GAT まで
SNS のつながりや分子のような「点と線」のデータを学習するグラフニューラルネットワークのしくみを、機械学習の入門者向けに解説します。隣の点から情報を集めるメッセージパッシング、少しの正解から残りの点を分類する GCN、集める回数を増やしすぎたときの過平滑化、隣どうしが似ていないグラフでの注意点を NumPy の小さな計算例で確かめます。
画像生成 AI のしくみ：オートエンコーダー・VAE・GAN から拡散モデルまで
文章から絵を描く画像生成 AI が中で何を計算しているのかを、機械学習の入門者向けに解説します。VAE・GAN・拡散モデルのしくみを、ノイズを足して消す計算や条件付けの強さ（ガイダンス）などの小さな計算例で確かめ、Stable Diffusion までの流れもたどります。
LLM を小さく速く動かすしくみ：量子化・蒸留・LoRA・MoE・KV キャッシュ
何十億ものパラメーターを持つ大規模言語モデルを、少ないメモリーと計算で動かす・学習させる工夫を、入門者向けに解説します。必要なメモリーの計算、float16 と bfloat16、int8・int4 の量子化と外れ値、知識の蒸留、LoRA、専門家の混合（MoE）、KV キャッシュを NumPy の小さな計算例で確かめます。
LLM の学習のしくみ：事前学習・指示チューニング・RLHF・DPO
大規模言語モデルが「次の単語を当てる」学習から、質問に答えるアシスタントになるまでの流れを、機械学習の入門者向けに解説します。事前学習の損失とスケーリング則、指示チューニング（SFT）、報酬モデル、KL の罰則つきの RLHF、DPO を、NumPy の小さな計算例で確かめます。
機械学習の評価指標のしくみ：正解率・適合率・再現率・F1・ROC・AUC
機械学習のモデルの良し悪しを測る評価指標を、入門者向けに解説します。偏ったデータで正解率がだまされる例、混同行列・適合率・再現率・F1・しきい値・ROC 曲線と AUC・PR 曲線・マクロ平均・回帰の指標・確率の較正を、小さな計算例で確かめます。
最適化手法のしくみ：SGD・モーメンタム・Adam の違い
ニューラルネットワークの学習で重みをどう動かすかを決める最適化手法を、機械学習の入門者向けに解説します。学習率の上限・細長い谷・鞍点・ミニバッチのばらつき・Adam の偏りの補正・学習率のスケジュールを小さな計算例で確かめ、SGD から AdamW までの違いをたどります。
過学習と正則化のしくみ：L1・L2・ドロップアウト・早期終了・交差検証
学習用のデータには合うのに初めて見るデータで外れる「過学習」が起きる理由と、その防ぎ方を機械学習の入門者向けに解説します。多項式の当てはめ・バイアスとバリアンス・リッジとラッソ・早期終了・ドロップアウト・交差検証を小さな計算例で確かめます。
RAG とエージェントのしくみ：LLM に検索と道具を使わせる
大規模言語モデル（LLM）に社内文書を検索させて答えさせる RAG と、道具（ツール）を呼びながら仕事を進めるエージェントのしくみを、入門者向けに解説します。BM25・チャンク分割・RRF・プロンプトの組み立て・ツール呼び出しのループ・検索の評価を Python の小さな例で確かめます。
推薦システムのしくみ：協調フィルタリング・行列分解から two-tower モデルまで
「この商品を買った人はこんな商品も」のような推薦のしくみを、機械学習の入門者向けに解説します。評価の予測とかたより、アイテムベースの協調フィルタリング、行列分解、視聴の記録だけからの推薦と Recall@10、新しい作品を薦める内容ベースの方法を NumPy の小さな計算例で確かめ、two-tower モデルと 2 段階の推薦までの流れもたどります。
強化学習のしくみ：Q 学習から DQN・AlphaGo・PPO まで
試行錯誤から行動を学ぶ強化学習のしくみを、機械学習の入門者向けに解説します。探索と活用・ベルマン方程式・Q 学習と SARSA・方策勾配法・PPO を、スロットマシンや崖歩きの小さな計算例で確かめ、DQN・AlphaGo から ChatGPT の RLHF までの流れもたどります。
自己教師あり学習と CLIP のしくみ：ラベルなしで表し方を学ぶ
正解ラベルのないデータから、データの表し方を学ぶ自己教師あり学習と、画像と文章を同じ空間に置く CLIP のしくみを、機械学習の入門者向けに解説します。対照学習の損失（InfoNCE）と温度、画像と説明文の組からの学習、学習していない組み合わせのゼロショット分類、負例がないと起きる崩壊を NumPy の小さな計算例で確かめます。
音声認識と音声合成のしくみ：スペクトログラム・DTW・CTC から Whisper・ニューラル音声合成まで
声を文字にする音声認識と、文字を声にする音声合成のしくみを、機械学習の入門者向けに解説します。スペクトログラムとメル尺度、DTW による単語の照合、CTC で文字と音の位置を対応づける方法、位相を復元するグリフィン・リム法を NumPy の小さな計算例で確かめ、Whisper やニューラル音声合成までの流れもたどります。
時系列予測のしくみ：季節分解・指数平滑法・自己回帰から深層学習まで
売上や気温のように時間の順に並んだデータから未来を予測する時系列予測のしくみを、機械学習の入門者向けに解説します。傾向と季節性の分解・自己相関・単純な予測との比較・ホルト・ウィンタース法・自己回帰モデル・未来の情報を混ぜない評価・予測区間を NumPy の小さな計算例で確かめます。
トークナイザーのしくみ：文字・単語から BPE・SentencePiece まで
言語モデルが文章をトークンに区切るしくみを、機械学習の入門者向けに解説します。単語・文字で区切る問題点、BPE の学習と適用、語彙の大きさと系列の長さの釣り合い、UTF-8 のバイトで未知の文字をなくす方法、Unigram 言語モデルとサブワード正則化を Python の小さな計算例で確かめます。
アテンションと Transformer のしくみ：Query・Key・Value から GPT・BERT まで
ChatGPT などの大規模言語モデルの土台になっている Transformer とアテンションのしくみを、機械学習の入門者向けに解説します。Query・Key・Value・√d_k で割る理由・位置エンコーディング・因果マスク・温度を小さな計算例で確かめ、GPT・BERT までの流れもたどります。
単語の埋め込みのしくみ：共起・word2vec から文の埋め込み・ベクトル検索まで
単語や文を数値のベクトルで表す「埋め込み」のしくみを、機械学習の入門者向けに解説します。共起行列と PPMI・word2vec の学習・「王 − 男 + 女 ≒ 女王」・文のベクトル・ベクトル検索の近似（IVF）を NumPy で実装し、小さな計算例で確かめます。
セグメンテーション AI のしくみ：FCN・U-Net から Mask R-CNN・SAM まで
写真の画素 1 つ 1 つに「猫」「背景」とラベルを付けるセグメンテーション AI のしくみを、機械学習の入門者向けに解説します。アップサンプリング・膨張畳み込み・mIoU・RoIAlign・PQ を小さな計算例で確かめ、FCN から SAM までの流れもたどります。
物体検出 AI のしくみ：R-CNN・YOLO から DETR まで
写真の「どこに・何が」写っているかを四角で囲んで答える物体検出 AI のしくみを、機械学習の入門者向けに解説します。IoU・アンカー・NMS・mAP を小さな計算例で確かめ、R-CNN・YOLO・DETR の流れもたどります。
画像分類 AI のしくみ：畳み込みニューラルネットワークから Vision Transformer まで
写真に「猫」「犬」とラベルを付ける画像分類 AI が、中で何を計算しているのかを機械学習の入門者向けに解説します。畳み込み・プーリング・ソフトマックス・学習のしくみを小さな計算例で確かめ、CNN から ViT までの流れもたどります。
静的エクスポートの Next.js サイトに Google AdSense の自動広告を入れる（Cloudflare Pages）
output export でビルドする Next.js 16 のサイトに、AdSense の自動広告のスクリプト・審査用の meta タグ・ads.txt を入れる手順です。どのファイルに何を書けばよいかをまとめます。
Next.js で作った Web ページを Cloudflare Pages で公開する（静的エクスポート + GitHub 連携）
Next.js のプロジェクトを静的エクスポートでビルドし、GitHub と連携した Cloudflare Pages で公開するまでの手順です。push するだけで自動デプロイされる状態にします。
Windows 11 と VS Code で Next.js の Web ページを作る（launch.json でデバッグまで）
Windows 11 と VS Code で Next.js のプロジェクトを作り、ページの追加とボタンの実装を経て、launch.json で F5 キーからデバッグ実行できるようにするまでの手順をまとめます。
MDX でブログを書く仕組み
frontmatter の検証からコードハイライトまで、このサイトの MDX パイプラインを解説