Special Topics in Mechano-Informatics Ⅱ@ Tokyo University, 2024
5th Jun. 2024, 2:55 pm – 4:40 pm, Online
Matrix and tensor factorization for machine learning [Slides] [PDF]
Matrices and tensors, or multidimensional arrays, are highly versatile data structures. They can store a variety of formats: image, video, table, and sensing data. By decomposing such matrices and tensors, we can extract insight from the data: patterns, features, etc. In this lecture, I introduce singular value decomposition (SVD) for matrices, non-negative matrix factorization (NMF) for non-negative matrices, and CP and Tucker decomposition for tensors. The objective is not only to understand the various decomposition methods in a piecemeal manner but also to acquire the know-how to select the appropriate decomposition method according to the situation and various constraints in real-world scenarios while focusing on the properties of each decomposition. For downstream applications of the methods, the lecture will cover subspace methods (CLAFIC) for classification tasks and EM-based methods for determining missing values in given input data. In the last segment of the lecture, I will cover some of the difficulties of tensor decomposition (TD). TD suffers from difficulties that do not occur in SVD, such as ill-posedness and NP-hardness in optimization, and will discuss recent research trends for avoiding these difficulties.
物理屋のための機械学習講義
17th Jun. 2024, 1:00 pm – 5:00 pm, 筑波大学東京キャンパス118教室
第11回 行列・テンソルの低ランク分解と多体分解
行列やテンソル（多次元配列）はデータのもつ高次の自由度を自然に記述できる基本的なデータ構造である．行列・テンソルとして計算機に格納されたデータを少ない基底の線形結合で近似する低ランク分解によって，データから必要な情報を抽出したり，隠れたパターンや知識を発見することができる．本講義の前半では主に機械学習への応用を見据えて，行列・テンソルの低ランク分解に入門する．特異値分解（SVD），非負行列因子分解（NMF），テンソルのCP分解やタッカー分解を扱い，実世界の様々な制約に応じて適切な分解法を選択する方法についても議論する．後半では，テンソル分解に現れる不良設定性やNP困難性に着目し，これらの困難を克服する最近の研究として，テンソルの低ランク性ではなく，テンソルの軸（モード）間の高次の相互作用に着目するテンソル多体分解を導入する．テンソル多体分解では，モデルに可視変数のみを仮定するため，直感的なモデル選択が可能になる上に，安定な凸最適化問題としてテンソル分解を定式化できる．また，低ランク分解と多体分解の数理的な関係についても紹介する．
