「Biasパラメータはweight decayの対象から除外すべき」という意見[1]がある。 典拠 これの根拠について明示的に議論した論文は見つけられなかったが、Pytorch Forum[1]で言及されているように、NFNetの論文[2]において「biasとgain（どちらもscalar）のパラ…

「学習率をバッチサイズに比例して増やす」（ルール1） という慣例があるが、これの根拠について説明する。 典拠 まず、このアイデアの出所は論文[1]だと思われる。 この論文では「学習率をバッチサイズに比例して増やす」というルールを適用すると幅広いバ…

有名なアルゴリズムの実装を読む シリーズの第二回。 今回はscikit-learnのStratifiedGroupKFoldの元のなったKaggle Notebookの実装を読んだ。といっても43行のとても短いコードである。 表記 n_fold: フォールド数 n_groups: ユニークなグループ数 n_labels…

概要 scikit-learn-extraのKMedoidsの実装を読んだので備忘録として残しておく。 KMedoidsとは KMeansと同種のクラスタリングアルゴリズムで、クラスタの代表点としてクラスタの重心(centroid)でなくメドイド(medoid)を使う。メドイドは1次元における中央値(…

100日後にCompetition Masterを目指す 今後のコンペ参加方針について 100日後にCompetition Masterを目指す Ottoコンペは残念ながらメダル争いの圏外だった。 とはいえ良い事もあって、GBRの時のように燃え尽き症候群が発生していない。 精神的にも体力的に…

11月から参加していたKaggleコンペOTTO – Multi-Objective Recommender System（通称Otto）の期間中にあった出来事について振り返っておく。 全体の感想 CVのリークについて データ設計について 共通の設計 学習スキーム（candidate generator; 1段目） 学習…

はじめに Kaggleをやる動機 1. 自分が「どの程度頑張れる人なのか」を確認する 2. 公開ノートブックやディスカッションから刺激を得るため 3. 問題解決プロセスの訓練の場として まとめ はじめに ブログが続かないので、何かテーマを決めて書き始めることに…