Multi-Sigma Explorer
Frequently Asked Questions
基本事項
テスト版(評価版)を部署の複数人で使用することはできますか?
評価版に関しましては、複数人の場合でも代表1名の方の登録でお願いいたします。1アカウントで1つのジョブしか出せないので、その点では複数人が同時には作業できない点は、ご了承ください。時間をずらして複数人でご評価いただけますようお願い申し上げます。
Multi-Sigmaでは、アクセス可能なIPを制限することはできますか?
Multi-Sigmaには企業ごとに専用サーバを用意する「エンタープライズ版」がございます。こちらであればIP制限や電子証明、多要素認証は可能です。
ニューラルネットワーク解析では、分析に必要なデータ数の下限はありますか?
システムの仕様上、ニューラルネットワーク解析はデータ数が10以上の場合に利用できます。データ数が9以下の場合には、ガウス過程回帰・ベイズ最適化を用いて分析をしてください。
ニューラルネットワーク解析でタスク作成後にタスク画面が表示されない。または、ガウス過程回帰・ベイズ最適化で入力ファイルと出力ファイルの保存が終わらない。
Multi-Sigmaでは、テキストデータの解析が出来ないため、学習データのヘッダー部以外にテキストデータが含まれていると、システムエラーが生じる可能性がございます。データをアップロードする際には、テキストデータが含まれていないかご確認ください。
疎なデータではAIの学習が難しいとのことですが、現在得られているデータが疎なデータであることがよくあります。そのような場合はどうすれば良いですか?
Multi-Sigmaには実験条件をランダムに生成する機能がありますので、その条件で実験を行い、過去の実験データと合わせて入力データとすることにより、過去のデータを無駄にせず、効果的なAI学習を行うことが可能です。
スケールが大きく異なる変数が入っていても解析できますか?
一般的に、ニューラルネットワークでは各説明変数のスケールが異なると予測精度が低下します。そのため、Multi-Sigmaではデータのスケーリングを行い、数値のスケールを揃えてから解析を行います。
学習データと検証データの分割は9:1でランダムにするのが良いのでしょうか?
その通りです。ExcelのRAND()関数で乱数を発生させて分割するのが簡単です。
説明変数が50種類ほど、目的変数が15種類ほどで、50000行くらいのデータができそうなのですが、解析は可能でしょうか。難しそうであれば類似のデータや、需要のないゾーンの分を消去するなどして抑えようと思いますので、目安の限度を教えていただけますと幸いです。
1回の解析(プロジェクト)でアップロードできるデータサイズは3MBまでです。このサイズを超えてしまう可能性があります。アップロードできなかった場合はご認識の通り、データを削除してお試しください。大規模データへの対応に関しては今後の開発で検討しております。
質的データも取り扱い可能ですか?
可能です。例えば「男性→0」「女性→1」のように数値化することで、整数として設定して解析できます。
例1)
年齢 身長 体重 性別
25 172.2 62.7 男性
32 159.3 57.2 女性
48 168.5 65.1 男性
↓ 性別を数値化
年齢 身長 体重 性別
25 172.2 62.7 0
32 159.3 57.2 1
48 168.5 65.1 0
例2)
年齢 身長 体重 血液型
25 172.2 62.7 A型
32 159.3 57.2 B型
48 168.5 65.1 O型
↓ 血液型を数値化
年齢 身長 体重 A型 B型 O型
25 172.2 62.7 1 0 0
32 159.3 57.2 0 1 048 168.5 65.1 0 0 1
データ容量が大きくなってきたときに、AIモデルだけを保存しておいて、それをあとからMulti-Sigmaに呼び出せますか?
現状はできません。作成したAIモデルをダウンロードすることは可能ですが、その後 Multi-Sigmaに戻すのではなく、Pythonで自分で動かすような使用方法を想定しています。将来的にはプロジェクトやAIモデルのバックアップ機能を検討しています。
使用データの数値の型に制限はありますか?
ありません。整数と実数(小数)のどちらでも大丈夫です。最適化の際には、説明変数ごとに整数か実数かを選択できます。
Multi-Sigmaでは時系列データの分析はできますか?
Multi-Sigmaで用いているAIモデル(機械学習モデル)で時系列データの分析も可能です。データの準備に工夫が必要となりますが、例えば、次のような手法により説明変数を準備することで時系列データの分析が可能となります。
また、時系列データに関する分析について、Multi-Sigmaブログにも事例がございます。
[Multi-sigmaブログ]
連続的と思われるデータで特異点的な変化が間に含まれている場合も、同じように解析してよいのでしょうか?
特異点的な変化が含まれている場合でも解析はできます。ただし、学習データに特異点、あるいは特異点が近くにありそうな兆候が含まれていないと、特異点をとらえるのは難しいです。
ニューラルネットワークなどを学ぶための基礎的なウェブ上の資料はありませんか?
弊社のウェブサイト上に、各種事例の紹介や詳細なブログ記事を掲載しております。これらはニューラルネットワークなどを用いたAIモデルによるデータ解析事例のご紹介となります。
[事例紹介]https://aizoth.com/service/multi-sigma/download/
[Multi-Sigmaブログ]
ニューラルネットワーク自体に関するウェブ上の基礎的な資料としましては、例えば、わかりやすい解説として、下記の産業技術総合研究所の記事があります
[産総研マガジン]
https://www.aist.go.jp/aist_j/magazine/20241204.html
もう少し踏み込んだ形で(数式などはほぼ出てきません)の総説としては、産業技術総合研究所と京都大学の研究者の方々が書かれている下記の論文が参考になります。
[機械学習分野の俯瞰と展望]
https://www.jstage.jst.go.jp/article/jjsai/34/6/34_905/_pdf/-char/ja
より幅広い意味でのAIの総論的な資料として、総務省が公表しているものがあります。
[総務省資料]
https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r01/html/nd113210.html
ニューラルネットワークなどを学ぶための英語で記載された基礎的なウェブ上の資料はありますか?
(1)わかりやすい総説的な英語の文章としては、米国のMIT(マサチューセッツ工科大学)が公表している記事があります。数式は記載されていません。
[MIT記事]
https://mitsloan.mit.edu/ideas-made-to-matter/machine-learning-explained
(2)他には、Google社が公表している機械学習の入門的記事があります。同じく数式は一切なく、1分程度の動画2つを含むわかりやすい説明がなされています。こちらはパソコンの言語設定が日本語の場合、最初に日本語記事に機械翻訳されますが、Webサイト右上の言語を英語にしていただければ原文が表示されます。
[Google記事]
https://developers.google.com/machine-learning/intro-to-ml/what-is-ml
Multi-Sigmaによる解析結果を基に論文執筆を行う予定です。AI解析の結果を用いるのは初めてで勝手が分からないのですが、どのように記載するのが一般的でしょうか?
Multi-Sigmaを利用して解析を行なった論文が徐々に発表され始めています。これら論文はエイゾスのウェブサイト上に掲載されています。これら論文の記載をご参考にしてください。
https://aizoth.com/service/multi-sigma/publication/
また、Multi-Sigmaは手法ではなく、AIモデル(機械学習モデル)を構築し解析するためのプラットフォームになります。そのため、どのようなAIモデル(機械学習モデル)を用いて解析を行なったのかを記載していただき、最後にAIZOTH IncのMulti-Sigma(バージョン名)を用いて解析を実行したと記載していただければと思います。
記載例の参考として下記のようなものを掲載します。
[1. 簡易版]
全結合型ニューラルネットワーク(Fully Connected Neural Network)を用いて予測モデルを構築した。学習データはXXX件、検証(テスト)データはYYY件を使用した。さらに、学習用データの一部をvalidationデータとして分割し、学習過程におけるモデル性能の評価にはRMSE(Root Mean Squared Error)を指標として用いた。最終的な予測には、複数のモデルを統合するアンサンブル手法を採用し、予測精度の向上を図った。
構築した予測モデルを用いて、説明変数と目的変数の関係性を評価するため感度分析(Sensitivity Analysis)を実施した。具体的には、各説明変数の値を個別に変化させたときの目的変数の変動を観察することにより、その寄与度合いを定量的に評価した。
目的変数の最大化、最小化、または特定の目標値への到達を目的とした最適化問題に対しては、多目的遺伝的アルゴリズム(Multi-Objective Genetic Algorithm)を用いて解を探索した。
これら一連の処理は、AIZOTH Inc.のMulti-Sigma(バージョンX.X.X)を用いて実行した。
[2. 詳細版]
全結合型ニューラルネットワーク(Fully Connected Neural Network)を用いて予測モデルを構築した。説明変数はAAA、 BBB、 CCCなどZZZ種類である。一方で、目的変数はaaa、bbb、cccなどααα種類である。学習には XXX 件のデータを用い、そのうち YYY 件をモデルの検証(テスト)用として分離した。さらに、学習データのうち一部を検証(バリデーション)サブセットとして使用し、学習過程におけるモデル性能の評価には二乗平均平方根誤差(Root Mean Squar Error, RMSE)を指標とした。(注:欠損値がある場合)データ前処理として、欠損値の補完には平均値補完を用いた(注:実際に選択した方法に応じて記載してください)。
また、変数間のスケールの違いによる学習バイアスを防ぐ目的で、min-max スケーリングにより各変数を [0,1] の範囲に線形変換した(注:実際に選択した方法に応じて記述してください)。最適なネットワーク構造(隠れ層の数、各層のニューロン数、活性化関数、エポック数、バッチサイズなど)は、バリデーションデータを用いて反復的に調整した。
最終的な予測には、複数のモデルを統合するアンサンブル手法を採用し、予測精度の向上を図った。この結果、検証(テスト)データを用いた予測精度評価では、相対誤差がX%、RMSEがY%、予測値と実測値の相関係数はZとなっている。
説明変数と目的変数の関係性を評価するため、構築したアンサンブル予測モデルに対して感度分析(Sensitivity Analysis)を実施した。具体的には、各説明変数の値を他の変数を一定に保ったまま変化させ、目的変数の出力変化を観察することでその影響度を定量的に評価した。この分析には、ニューラルネットワークの内部構造を解析するための手法である Partial Derivative 法を用いた[Gevrey et al., 2003]。
また、目的変数の最大化(最小化、あるいは特定の目標値へ近づける)のための説明変数の最適化に関しては、多目的遺伝的アルゴリズム(Multi-Objective Genetic Algorithm)を適用した[Murata and Ishibuchi, 1995]。このアルゴリズムにより得られたパレート解集合は、各目的変数間の関係を示し、ドメイン知識などに基づいて最適な説明変数の値の組み合わせを導出した。
これら一連の処理は、AIZOTH Inc. のクラウドベースのソフトウェアMulti-Sigma(バージョンX.X.X)を用いて実行した。
[Gevrey et al., 2003]
Gevrey, M., Dimopoulos, I., & Lek, S. (2003). Review and comparison of methods to study the contribution of variables in artificial neural network models. Ecological modelling, 160(3), 249-264.[Murata and Ishibuchi 1995]
Murata, T., & Ishibuchi, H. (1995, November). MOGA: multi-objective genetic algorithms. In IEEE international conference on evolutionary computation (Vol. 1, pp. 289-294). IEEE Piscataway.Multi-Sigmaで作成したAIモデルを、商品に実装して販売するということはできるのでしょうか?
Multi-Sigmaの利用規約第13条に禁止行為を列挙しています。そのうち、Multi-Sigmaで作成したAIモデルをそのまま販売することは、第2項と第6項に該当する行為になるため、どうしてもそのような商品の販売をしたい場合には、弊社と個別の相談をさせていただければと思います。
Multi-Sigma規約
第13条 (禁止行為)
会員は、本サービスに関連して次の各号に定める行為を行ってはいけません。
〜中略〜
(2)当社から提供された本サイトおよび本ソフトウェアを含む情報および役務を本サービスの利用以外の目的のために使用する行為
〜中略〜
(6) 第三者のために本サービスを利用する行為(第三者からの委託を受けて利用する場合や第三者からの受託業務のために自らの裁量で利用する場合を含むがその限りではない。)
〜中略〜
実験条件作成
実験データの分布に偏りがあるときに、次にどのような実験データを取るべきか教示してくれるような機能はありますか?
「データのプロファイリング機能」でデータの分布を表示すると、どのあたりの実験データが不足しているかが分かります。
また、ベイズ最適化を使うと、実験データが疎な部分から優先的に最適解が得られます。
Multi-Sigmaでは、どのような実験を行えばいいか説明変数自体を提案することはできますか?
実験を行うべき説明変数の提案はできません。Multi-Sigmaでは説明変数は200種類まで取り扱うことができますので、想定できる多数の実験条件を説明変数として記録していただくことが良いと考えられます。
実験計画法に基づく実験条件と、ランダムに設定した実験条件では、AIモデルの予測精度はどちらが良くなりますか?
Multi-Sigmaを用いた検証では、データ数が20未満の場合は実験計画法の方が精度が高いケースがありました。一方で、データ数が20以上の場合はランダムな実験条件でデータを作成した方が精度が良くなります。
実験条件作成にあるラテン超方格法ではどのような実験条件を作成するのですか?
ラテン超方格法では、可能な限り実験条件がばらつくように実験条件を設定します。例えば、実験条件Aと実験条件Bを変更しながら、9回の実験を行うケースを考えましょう。その場合、ラテン超方格法によって提案される実験条件の設定例が下記の図になります。この例では実験条件が9回あるので、ラテン超方格法を用いると、実験条件Aと実験条件Bのプロットを9×9のメッシュで考えた時に、1度実験条件を設定した行と列のメッシュには2度と実験を行いません。このようなアルゴリズムで作られているので、同じ9回の実験でも様々なパターンのラテン超方格法による実験条件の設定案が考えられますが、Multi-Sigmaでは可能な限り条件がばらつくように設定されています。
データ加工
データ加工において、データ変換の選択肢にLogやLog1Pといった選択肢がありますが、どのようなときにこれらデータ変換を選択すればいいですか?
LogやLog1Pを選択すると良い場合は、データが売上・人口・視聴回数・降雨量といった社会的なデータで右に裾が長いデータ分布(かつ、0以上)ケースが該当します。多くの場合、このようなデータは、分布が非対称かつ最大値がとても大きくなってしまいます。それらを補正するために対数をとって数値変換を行うことが、伝統的なアプローチです。これを実行するのがLogやLog1Pになります。
対数変換を行うことで、分布の右側に伸びた裾が緩和され、相対的に左右対称な分布に置き換えられます。また、外れ値があるようなデータに対しても、一般に、対数変換を行うことで取り扱いやすい分布に変わることが知られています。
なお、対数変換で取り扱うことができる対象は、0より大きい数値です。
Logを選択した場合には、対数の底は、自然対数の底(ネイピア数)を用いています。
Log1Pを選択した場合には、元のデータの全てに1を足し込んで、必ず0にならないように処理を行います。なぜなら、Logは0を変換するとマイナス無限になってしまうためです。
それ以外の計算処理は、前述のLogと同じです。
データ加工において、データ変換の選択肢にQuantile Transformationという選択肢がありますが、Quantile Transformationはどのような変換を行うものですか?
Quantile Transformationは、データを0から1の等間隔の分布に変換します。これは、各変数の値の絶対値が大きく異なるとき、それらの変数をフェアに取り扱うために、全ての変数が0から1の間におよそ等間隔で分布するデータに変換する手法です。例えば、元のデータのヒストグラムと変換後のヒストグラムを示すと、下記の左図のデータがQuantile Transformationで、右図のデータになります。
スケーリング
スケーリングはどのように選べば良いのですか?
一般的に、データのスケーリングを行う理由は、それぞれの変数をフェアに取り扱うためです。例えば、ある目的変数が別の目的変数に比べて数桁大きい時に、それら変数をそのまま利用してAIモデルの学習を行うと、大きな桁数を有する目的変数を当てるようにモデルが構築されてしまい、桁数の小さい目的変数の予測精度が大きく悪化する場合があります。そういった状況を避けるために、各変数を同じような範囲に分布させるためにスケーリングを行い、特定の変数のみに着目しがちな学習を行わないようにするためにスケーリングが行われます。そのため、基本的には全ての変数に同一のスケーリングの手法を適用していただくことが適切です。ある程度データが均一に分布しているようであれば、Min-Maxスケーリング法を選んでいただき、データを0から1に分布させるようにしていただくのが良いと考えられます。一方で、最小値の周りにある程度データが集積し、最大値の周りに僅かに分布するような場合にMin-Maxスケーリング法を用いると、ほとんどのデータが0の付近に集約されてしまい、適切に学習を行うことが難しくなります。正規分布しているようなデータを標準正規分布に変換する場合には、Standardizationを選んでいただくことになります。
アンサンブル用に作成された複数のモデルのそれぞれの予測精度をVSプロットで表示できませんか?どの領域でどのモデルが当たりやすいか、外れやすいか知っておきたいと思いました。
現状、機能としては用意していません。どの領域でどのモデルが当たりやすいかを調べるには、各モデルによる予測結果をダウンロードし、Excelなどで正解データと比較してください。この機能につきましては、今後の開発で検討いたします。
AI学習
AI学習で過学習してしまう場合があると聞きました。Multi-Sigmaで作ったモデルが過学習しているかどうか、どのように判断すれば良いでしょうか?
Multi-Sigmaではニューラルネットワークモデルの構築時に過学習にならないような仕組みを取り入れています。また、構築したAIモデルが過学習しているかどうかをチェックするためには、学習用データとは別のテスト用データのinputデータからAIモデルを用いて予測を行い、その結果をテスト用データのoutputデータと比較することで、学習に用いていないデータでもきちんと予測ができているか、つまり過学習をしていないか確認することができます。
AI学習で誤って「オートチューニングで学習」をクリックしてしまいましたが、「強制終了」が押せません。どうすれば良いですか?
ジョブステータスが「CREATED」の間は解析ライブラリの読み込みなどが行われるためお待ちいただく必要があります。学習が始まってジョブステータスが「RUNNING」になれば「強制終了」を押して学習を停止させることができます。
AI学習の「オートチューニングで学習」の場合、モデルの数を変更できますか?
現状はモデルの数は変更できません。「オートチューニングで学習」の場合は、作成するモデルの数は10で固定されます。
AIモデル作成後に表示されるRMSEとはなんですか?
二乗平均平方根誤差(Root Mean Squar(ed) Error)のことです。モデルの予測精度の良さを表す指標の1つです。RMSEの値が0 に近いほど誤差が小さく、精度の高いモデルと判断できます。
隠れ層の活性化関数をどのように選択すると良いですか?
オートチューニングの結果として選択されているものをそのままご使用されることが一番良いと考えております。一般論として、このようなデータの時には隠れ層の活性化関数としてある特定のものを使うことが良いと強くお勧めすることはできません。
Multi-Sigmaの学習で、バッチ処理のように自動で次の計算を始めることはできますか?
そのような機能はご提供していません。
Multi-Sigmaのニューラルネットワーク解析の学習設定はどのように行えばよいですか?
AI学習の設定画面上には、各設定項目のデフォルト値が表示されています。オートチューニングを実行すると、各設定項目の最適な値を自動で探索します。AI学習を実行される際は、基本的には設定は変更せず、そのまま「オートチューニングで学習」ボタンを押していただければ問題ございません。最終的な各設定項目の値は、学習完了後に各AIモデルをクリックすると確認できます。 そのような機能はご提供していません。
※ただし、次の3項目については、お手持ちのデータに合わせて設定してください。設定変更後に「オートチューニングで学習」ボタンを押すと、設定した項目はその通りに、他の項目は最適な値を自動で探索します。
・出力層の活性化関数
出力データ(目的変数)が連続値の場合はlinearを選択します。出力データ(目的変数)が0か1の値を取る場合はsigmoidを選択します。例えば陰性を0、陽性を1と記録したデータをお持ちで、陽性の確率を予測したい場合はこれに該当します。
・検証データの抽出
通常はRandomのままで問題ございません。下記「不均衡データの調整」をONにした場合はBalancedを選択します。これにより、検証データの中に陰性データと陽性データがバランスよく含まれます。
・不均衡データの調整
データに大幅な偏りがある場合はONにします。例えば全体が100件のデータについて、陰性が95件、陽性が5件の場合は、AIは陽性データを軽視してしまいます。よって陽性を正しく予測できる確率が非常に低くなります。この設定をONにすると、陽性データのアップサンプリングをして、AIが陽性データを軽視できないようにします。
通常は1時間程度で終わっていたオートチューニングが、今回だけ6時間かかりました。何が悪かったのでしょうか?
ニューラルネットワーク解析は、モデルの重みとしきい値の初期値が乱数で与えられるため、初期値が悪いとなかなか最適なモデルに辿り着けず、時間が掛かることがあります。
ニューラルネットワーク解析において、AI学習時に使用された学習データと検証データを確認できますか?
AI学習の設定に「学習データをファイルに保存」という項目があります。これを有効にして学習を実行すると、各AIモデルをクリックした後の画面の「モデルとデータをダウンロードする」ボタンで、学習データと検証データのCSVファイルを取得できます。それぞれ learning_モデル名.csv、validation_モデル名.csv、というファイル名です。
ニューラルネットワーク解析のAI学習において「不均衡データの調整」をONにしても予測精度が改善しない場合はありますか?
本機能は、データ全体のバランスを見ながら個々のデータを複製するため、必ずしも目的のデータを適切に調節できるとは限りません。予測精度が改善しない場合は、手動でのアップサンプリング(オーバーサンプリング)をお試しください。例えば、マイナーデータを数倍に複製して、元データに追加することが考えられます。
同じデータセットを使用しているのにスケーリング手法をStandardizationからMin-Maxにした場合、学習したAIモデルのRMSEが大きく変わりました。これは予測精度が大きく変わったという理解であっていますか?
Multi-SigmaのAI学習パートでは、スケーリング後のRMSE値を表示しています。そのため、スケーリング手法を変更した場合は、スケーリング後のRMSE値も変わります。例えば、Min-Maxスケーリング手法を用いる場合は、データを0から1の間に値に変換します。一方で、Standardizationはデータを「平均0、標準偏差1」の分布に変換します。そのため、Min-Maxスケーリング法を選択した場合には、AI学習パートでのAIモデルのRMSE値は、0から1の間に分布しているデータのRMSE値を表示していますが、Standardization手法を選択した場合はそもそもデータの分布が遥かに大きくなることがあり得ます。そのように大きな範囲で分布しているデータのRMSE値と、0から1の間に分布しているデータのRMSE値を単純に比較することはできません。そのため、予測精度が変わったかどうかをスケーリング後のRMSE値で単純に比較することはできません。
出力変数が複数あり、幾つかは実数値で残りは0と1の2値をとる。このような場合、Multi-Sigma上ではどのようにしてAIモデルを構築すればいいのですか?
Multi-SigmaのAIモデルでは、出力層の活性化関数をニューロンごとに変更することはできません。一方で、実数値を出力にとる場合は出力層の活性化関数をlinearに、0と1の2値を出力にとる場合は出力層の活性化関数をsigmoidにすることが良いと考えられます。予測や要因分析を行う際にはこれらの出力変数をそれぞれ別のモデルで分析すると、適切なモデルを構築して解析ができます。
AI学習を実行するたびにモデルが変わります。これはどういった仕組みによるものでしょうか?
Multi-Sigmaではニューラルネットワークの重みの初期値をランダムに決定しています。AIモデル構築を行うたびにニューラルネットワークの重みの初期値が変わるので、モデルのハイパーパラメータの値も変わる可能性があります。一方で、モデルの初期値に応じてハイパーパラメータを決めて精度の高いモデルを構築していますので、予測結果はほぼ同一のものになります。AIモデルを構築するたびに予測結果が大きく異なる場合、適切なAIモデルが構築できていませんので、データ構造の確認、データ数の確認などが必要になります。
AI予測
AI予測では、学習用データのinputファイルを用いて予測をするのですか?
学習用データのinputファイルを用いて予測を行うのではありません。学習用データはモデル構築にのみ用います。AI予測では、学習用に用いていないinputファイルを用いて予測することが一般的です。(学習データの予測精度を見たいという場合には、学習用データのinputファイルを用いて予測をすることはあり得ますが、学習用データを高精度に予測できることは当然ですので、その予測精度は評価指標としては利用できません。)
予測精度があまり良くありません。
AI学習のオートチューニングをお試し頂いても予測精度が良くならない場合は、(1)学習データの変数の作り方にひと工夫が必要か、(2)学習データの数が足りないか、(3)そもそも予測が難しい問題かのいずれかの可能性がございます。3番目のケースは、どのような手法を使っても、そこまで精度が出ない可能性がございます。
複数のAIモデルの結果の単純平均を計算するアンサンブルという手法はMulti-Sigmaに特有のものですか。
Multi-Sigmaにおける特有の手法ではなく、機械学習分野では一般的に用いられている手法になります。例えば、ニューラルネットワークのアンサンブル手法については、1990年の論文にも記載があります。
(参考)
Hansen, Lars Kai, and Peter Salamon. “Neural network ensembles.” IEEE transactions on pattern analysis and machine intelligence 12.10 (1990): 993-1001.アンサンブルモデルに利用するAIモデルはどのように選べば良いですか?
誤差(RMSE)の小さいモデルを2個〜4個選ぶのがお勧めです。ただし、組み合わせるAIモデルの誤差の値が他のAIモデルの誤差よりも明らかに大きい場合は、そのような誤差の大きいAIモデルをアンサンブルに加えると、かえって精度が悪くなることもあります。誤差の値が同程度のAIモデルを組み合わせることが望ましいです。一方で、多数のAIモデルの組み合わせを何度も試し、テスト用データでの精度を毎回確認し、それに基づいてアンサンブルモデルに利用するAIモデルを選定する手法は、一般的にはお勧めできません。理由としては、そのようなアプローチでアンサンブルモデルを決めた場合、現在のテストデータに対して偶然精度の良いアンサンブルモデルになっている可能性があり、過剰適応している場合があります。あくまで、アンサンブルモデルの予測精度の評価は、結果として見るべきであり、AIモデル選択の手段として用いることは一般的ではありません。
ROC曲線とはなんですか?
ROC曲線は、二値分類問題において、真陽性率(TPR)を縦軸にとり、偽陽性率(FPR)を横軸にとり、それらの関係をプロットしたグラフです。
真陽性率 = (True Positives)/(True Positives + False Negatives)
偽陽性率 = (False Positives)/(False Positives + True Negatives)
ROC曲線は非常に古くから使われている指標です。
(参考)
Peterson, W. W. T. G., T. Birdsall, and We Fox. “The theory of signal detectability.” Transactions of the IRE professional group on information theory 4.4 (1954): 171-212.
0と1の2値データが出力データの場合、結果をどのように解釈すればいいですか?
Multi-Sigmaのニューラルネットワーク解析で出力層の活性化関数をsigmoidにすると、出力が0から1の実数値になります。この0から1の実数値に対して、閾値を設定し、閾値を超えた場合は1と解釈し、閾値を下回った場合は0と解釈します。
結果の可視化機能はありますか?
Multi-Sigma内にAI予測結果のグラフ化機能はありますが、描画されるのは結果データのうち最後の数十点です。データ全体を見るには結果ファイルをダウンロードしてExcelなどで可視化するのがおすすめです。
材料候補がいくつかあり、最終的にはその中から2つくらいの材料を使いたいとき、実際には使わなさそうな材料も全部入れて実験した方がよいのでしょうか。
全ての候補を入れて実験するのがよいです。要因分析でそれぞれの材料の寄与度を見ることができます。また、最適化の際に、使わない材料の最大値と最小値を同じにすることで、使いたい材料だけを最適化することもできます。
AI予測で外挿はできますか?
AI予測で外挿は実行できます。ただし、一般に内挿と比較して外挿の予測精度は悪化することが知られています。これは、Multi-Sigmaに限らず、AIモデルの学習において、学習データの範囲内で精度が高くなるよう学習されることが理由です。
構築したAIモデルの検証は自分で行う必要がありますか?
Multi-Sigmaでは検証(テスト)も自動で行えます。データ数にもよりますが、学習用データとは別にテスト用データは5つは欲しいと考えられます。
予測誤差がどのくらいの値なら「予測精度が高い」と言えますか?
物理系の場合は10%程度、生物系の場合は20%程度であれば、予測精度が高いと言えます。
AI予測の「検証」で表示される(数値)%はどのように計算されていますか?
予測値と実測値の相対誤差です。 相対誤差 = |(予測値- 実測値)/実測値|*100 (%)
要因分析
要因分析において、特定のパラメータの寄与度が高すぎると、他のパラメータが埋もれてしまいますか?
寄与度は合計100%のため、確かにそういうことはあります。分析の際に寄与度が高いパラメータの値の範囲を狭めれば、他のパラメータの影響が見やすくなります。AIは、寄与度の高い説明変数の誤差を小さくするように学習されます。
また、最適化においては、制御できないパラメータの値を固定(最大値と最小値を同じに)することにより、制御できるパラメータのみを動かして最適な条件の探索をすることができます。
寄与度はどのように算出されていますか?
Gevrey et al (2003)の Partial Derivative (PaD) methodという手法を用いています。
要因分析を複数回実行すると僅かに寄与度の数値が変わることがありますが、どのような仕組みになっているのですか?
要因分析の仕組みを簡単にご説明すると、説明変数を微小量変化させた際の目的変数の変化度合いを分析しています。具体的には、下図のように説明変数を微小量Δxiだけ変化させた時の目的変数の変化量ΔYを積み上げていきます。この時、説明変数を微少量だけ変化させる地点は、ランダムに選択しています。それゆえ、要因分析を実行するたびに、微小量だけ変化させる地点がランダムに変わります。原理的には、要因分析機能が示す全体の傾向は変わりませんが、ランダムに微小量変化を加える地点を選ぶため、その数値は若干変動することになります。
要因分析の仕組みを数式で説明してくれますか?
Gevrey et al. (2003) では、出力変数に対する入力変数の影響を Sum of Squared Derivatives (SSD) により算出しており、以下の式で定義されています:
SSDᵢ = ∑(dⱼᵢ)² ※jは観測値のインデックス
この手法では偏微分値を2乗するため、正負の方向性(影響の増加・減少)は失われてしまいます。
一方、Multi-Sigmaではこの方向性も保持した上で、正方向・負方向それぞれの寄与度を百分率で表示する仕組みを採用しています。計算手順のイメージは以下の通りです:
① 各入力変数 i に対して:
正の寄与成分の合計(Sᵢ⁺)
Sᵢ⁺ = ∑ max(dⱼᵢ, 0)
負の寄与成分の合計(Sᵢ⁻)
Sᵢ⁻ = ∑ min(dⱼᵢ, 0)
② 全体のスケール調整用の合計値(Sₜₒₜₐₗ):
Sₜₒₜₐₗ = ∑ Sᵢ⁺ + |∑ Sᵢ⁻| ※i に対して合計
③ 各変数の正負寄与度 [%]:
正方向の寄与度(Cᵢ⁺):
Cᵢ⁺ = (Sᵢ⁺ / Sₜₒₜₐₗ) × 100 [%]
負方向の寄与度(Cᵢ⁻):
Cᵢ⁻ = (|Sᵢ⁻| / Sₜₒₜₐₗ) × 100 [%]
このように、二乗和の代わりに正・負の偏微分を分離して合計し、それぞれの方向の寄与を割合で算出する構造となっています。
Multi-Sigmaの要因分析手法はLIMEやSHAPとは違うのですか?
Multi-Sigmaで採用している要因分析手法(PaD)は、入力変数空間において複数の基準点を数多く選定し、それぞれの点に対して変数を微小に変化させることで、出力変動を評価するという手法であり、モデル全体に対する大局的(グローバル)な感度分析が可能です。
一方、SHAPは、個々の入力データに対する予測結果の寄与度を算出する手法であり、SHAP値の平均をとることで全体傾向を見ることは可能なものの、分析対象は基本的に観測されたデータ範囲に限定されるため、Multi-Sigmaの要因分析手法と比べて入力空間全体を網羅的に評価するには限界があります。
また、LIME(Local Interpretable Model-agnostic Explanations)につきましても、その名の通り「ローカル(局所的)な」モデル解釈を目的としており、1つの入力点の近傍に対して線形モデルを当てはめ、局所的な感度を推定する手法となります。したがって、LIMEは局所的な説明に特化した手法であり、大域的な感度評価には適しておりません。
このような理由から、Multi-Sigmaでは現在のところ、大域的な感度分析を可能とする要因分析手法(PaD手法)を採用しています。
要因分析の結果でポジティブとネガティブが半々になっているものがありますが、どのように解釈すればいいですか?
Multi-Sigmaで採用している要因分析手法(PaD)では、入力変数空間の全体を探索するようになっています。そのため、特定の領域ではポジティブな影響を持ち、別の領域ではネガティブな影響を持つ入力変数があった場合、ポジティブとネガティブの両方の寄与が表示されます。
要因分析で、パラメータがポジティブとネガティブの両方の影響を持つ事例がイメージできません。どのような場合にポジティブとネガティブの両方の影響を持つのですか?
様々な分野における分析で、入力パラメータが出力パラメータに対して、ポジティブとネガティブの両方の影響を持つことになります。例えば、下記の3つの事例が考えられます。
(a)農作物の栽培で寒すぎる状況から温暖な状況に移っていく際には収穫量がプラスになりますが、温暖な状況から高温すぎる状況に移っていく際には収穫量がマイナスになります。温度が短調増加していくにつれ、収穫量がプラスからマイナスに変動するときは、要因分析では、温度パラメータが収穫量に対してポジティブ・ネガティブ(プラス・マイナス)の両方がカウントされます。
(b)需要が大きいサービス・製品を供給する際には、供給量を増やしていくと利益がプラスになります。一方で、需要を超える供給を行ってしまうと、供給量が増えすぎて利益がマイナスになってしまいます(売上からコストを差し引くとマイナスになる)。供給量を増加させるとある程度までは利益がプラスになり、閾値を超えると利益がマイナスになります。つまり、供給量のパラメータは利益に対してポジティブ・ネガティブ(プラス・マイナス)の両方がカウントされます。
(c)ボールを上に投げると、時間の経過とともにその位置は高くなりますが、一定程度経過するとその位置は低くなります(ボールが落ちてくるため)。時間経過を横軸にとると、ボールの高さはある程度までプラスになり、一定時間経過後には時間が進むにつれてボールの高さはマイナスになります。つまり、時間パラメータは位置に対してポジティブ・ネガティブ(プラス・マイナス)の両方がカウントされます。(注:要因分析機能は相関を表現するものであって因果を表現するものではありません)
Multi-Sigmaの要因分析機能では、有意差検定はできますか?
Multi-Sigmaに限らず、一般にAIモデルでの分析では有意差検定はできません。要因分析機能の結果を見て、どの要因の貢献度合いが高い、他の要因と比較して何倍である、といったことを確認していただくことになります。
要因分析で、あるパラメータがポジティブ(もしくは、ネガティブ)に効いているという分析結果が出た時、そのパラメータが物理的な意味を持っていると理解して良いのでしょうか?
Mulit-Sigmaに限らず、一般に機械学習手法における要因分析は、物理学における微分方程式(や偏微分方程式)などで記述される関係性を記述しているわけではありません。
Multi-Sigmaにおける要因分析のイメージとしては、各説明変数が目的変数に対してどのような相関を持っているのか、ということを評価しているものになります。一方で、相関があることはわかっていても、因果関係までを評価したことにはなりません。Multi-Sigmaに限らず、一般にAIモデルでの要因分析では、因果関係までは評価できません。そのような分析を行う場合には、実験条件を丁寧に設定し、交絡因子の存在なども特定した上で、その要因がある場合とない場合での比較を行うといった手法を採ることが多いです。
モンテカルロシミュレーションではどのようなことが行われているのですか?
Multi-Sigmanにおけるモンテカルロシミュレーションは、入力変数の学習データから算出される最大値・最小値の範囲から一律に一様分布に従ってデータ点を1万点サンプリングし、それらを入力として、AIモデルから出力を得ています。それら入力と出力の関係をResult of Monte Carlo Simulationの箇所でプロットできるようになっています。
モンテカルロシミュレーションについては、Multi-Sigmaブログに詳細な説明があります。
モンテカルロシミュレーションの結果をどのように使えばいいのですか?
例えば、アウトプット×アウトプットのプロットを表示いただき、その結果から出力が取り得る範囲の確認や、出力パラメータ間の傾向を見ていただくことが可能です。学習データの入力変数の最大最小の範囲でランダムにサンプリングした結果から得られたアウトプット×アウトプットのプロットが示す範囲から大きく外れた点を最適化で求めようとしても、多くの場合はそのような点に到達することは困難であると考えられます。この場合は、モンテカルロシミュレーションの結果を見ることで、最適化で到達できそうなおおまかな範囲を把握するという使い方もできますし、仮に実験データを取り扱っている場合には、現在の最大値・最小値の外側での追加実験が必要となると判断することもできます。
一方で、入力変数を横軸に取って出力変数を縦軸に取って傾向を把握しようとしても、指定した入力変数以外の入力変数の値も変化してしまっているため、入力と出力の傾向を捉えることは原理的にはできません。
最適化
AとBの比率の最適解を求めたいのですが、可能でしょうか?A+B=100%です。
AまたはBのどちらかのみを学習データに含めることにより可能です。
または、両方を学習データに含め、最適化の制約条件で、AとBの係数をそれぞれ1として、合計を1(あるいは100)とすることにより、A+B=100%の制約条件下での最適化を行うことが可能です。
解集合からのパレート解集合への絞り込みは可能でしょうか?
Multi-Sigmaでは複数の目的変数に対するパレート解の集合が得られます。そちらの結果をダウンロード頂き、Excel等を使って、パレート解の集合の中から、最も目的変数のバランスの良いものを抽出頂く使い方になります。
学習に用いたデータセットの外の範囲に最適解が存在した場合でも、Multi-Sigmaの最適化では問題なく解を探索できるのでしょうか。
学習データから作成されたAIモデルが、外挿の領域でも高精度に予測ができる場合、学習データの外の範囲でも最適解を精度高く探索することはできますが、学習データの領域から大幅にズレた範囲の探索は行えません。一方で、AI予測モデルが、学習データの範囲外で予測精度が悪くなる場合、最適化の精度が下がります。Multi-Sigmaに限らず、これはAIモデル一般の傾向です。
多目的最適化の結果の可視化はどうすれば良いですか?
横軸に最も重要な目的変数、縦軸に次に重要な目的変数を取ることにより、多目的最適化の結果を二次元グラフで可視化できます。
または、多目的最適化の結果ファイルをダウンロードして、Excelなどで各目的変数の最大値で割って規格化してから可視化してください。
多目的最適化で2つの目的変数がある時に結果をどのように見れば良いでしょうか?
Multi-Sigmaでは複数の目的変数に対するパレート解の集合が得られます。Multi-Sigma画面上でそれらの結果をプロットすることができます。下図は、痛みの軽減度(vas_improvement)と費用(cost)という2つの目的変数について、それぞれx軸、y軸にプロットしてパレート解を表示したものです。費用に重点を置くのであればy軸の小さい領域から、痛みの改善度に重点を置くのであればx軸の大きい領域から選択することになります。目的変数を最小化したいのか、最大化したいのか、または目標値に近づけたいのか、そういった目的ごとに選択する範囲を絞り込みます。
解析が丸1日経っても終わりません。なぜでしょうか。
ページの再読み込みがされていない可能性があります。キーボードのCTRLキーを押しながらF5キーを押してみてください。
ある説明変数が5cm刻みのため、最適化も5cm刻みの解を得たいのですが、そういったことはできますか?
現状ではそのような指定はできません。通常の最適化を実施し、その結果を5cm刻みに丸める、という方法が現実的な対応ではあります。少し前処理が必要になりますが、5cmを単位として説明変数を変換すると、0cm, 5cm, 10cm, 15cm・・・、が0, 1, 2, 3・・,と変換されます。このようにして変換された値を用いて、最適化の制約に「整数」を指定して実行し、その結果を逆変換することで対処は可能です。
最適化で目的変数の数値範囲を指定できますか?
現状ではそのような指定はできません。最適化結果に対して、画面上で上限と下限を指定することで、対象範囲を限定することができます。
最適化の設定にある個体数や世代数はデフォルトの値で実行して良いでしょうか?
最適化の設定にある個体数のデフォルト値100をそれ以上大きくすることはできません。個体数についてはデフォルト値である100を利用することが良いと考えています。世代数については、まずはデフォルト値の10を試していただくことが良いと思います。望ましい結果でなかった場合には、世代数は最大で100まで増やすことができますので、デフォルト値より大きい値で実行していただくと良いと思います。
最適化を実施するときに、対象となる実験で特定の入力変数(説明変数)がどうしても制御できない場合、何か良い解決方法はありますか?[ロバスト最適化]
Multi-Sigmaでは、特定の入力変数(説明変数)が制御できずに一定の範囲内で動いてしまう場合にも、それら変数の値が固定できない前提で最適化を行うロバスト最適化が実行可能です。具体的には、制御できない入力変数が動き得る範囲の最小値と最大値の範囲でどのような値を取ったとしても、それら以外の入力変数の最適な値を求めることで、出力変数を望ましい値にすることができます。
Multi-Sigmaの最適化の設定において、入力値の指定をする箇所で、制御ができない入力変数については「非制御」を選んでください(下記画像の赤丸で囲まれた箇所)。その上で、制御できない変数が動き回る範囲の最小値と最大値をそれぞれ右のボックスに入力してください。これにより、制御できない変数が最小値と最大値の範囲で動き回ったとしても、その条件下で望ましい出力値を達成するための他の変数の最適値を求めることができます。Multi-Sigmaでは、複数の入力変数を非制御とすることが可能です。
ガウス過程回帰・ベイズ最適化
ガウス過程回帰・ベイズ最適化のKernelについて説明してください。
Multi-Sigmaのガウス過程回帰・ベイズ最適化におけるカーネル(Kernel)とは、ガウス過程回帰(GPR)を行う際に使用するカーネルを指します。カーネルは、入力データ間の類似度を測るための関数であり、これによりモデルは入力変数同士の関係を学び、目的変数の分布を推定します。適切なカーネルを選択することで、滑らかな変動を持つデータから急激な変化を伴うデータまで、さまざまなデータの特性に応じた予測が可能となります。
- RBF(Radial Basis Function)は、滑らかな変動を持つデータの学習に向いています。
- Exponentialは、急激な変化を伴うデータの学習に適しており、より急な変動をモデル化できます。
- Matern52およびMatern32は、その中間的な性質を持ち、スムーズさと急激な変動のバランスを取ることができます。
これらのカーネルは、RBF → Matern52 → Matern32 → Exponentialの順に、データの変動の急激さが増加していく性質を持っています。
- Linearカーネルは、直線的なトレンドを持つデータに対して適しています。
- Periodicカーネルは、周期的な変動を持つデータの学習に適しており、周期性をモデルに反映させることが可能です。
詳細をMulti-Sigmaブログに記載していますので、そちらもご参照ください。
ガウス過程回帰・ベイズ最適化のKernel以外のパラメータについて説明してください。
- Variance(分散)は、目的変数の全体的な変動の大きさに関するパラメータで、大きいほど予測の不確実性が増加し、予測の範囲が広がります。
- Lengthscale(長さスケール)は、どれくらいの距離でデータが相関しているかを示すパラメータで、値が大きいほど長い距離での相関が強く、滑らかな変動を表現します。
- Period(周期)は、Periodicカーネルでの周期の長さを表すパラメータです。
- Gaussian Noise Variance(ガウシアンノイズ分散)は、データの観測誤差に関連するパラメータで、ノイズの影響を考慮してモデルの予測を安定させます。Gaussian Noise Varianceが大きいほど、AIモデルはデータに含まれるノイズ(観測誤差)が多いと判断して、モデルはデータの細部にあまり敏感に反応せず、過学習になることを防ぎます。
詳細をMulti-Sigmaブログに記載していますので、そちらもご参照ください。
ガウス過程回帰を用いたベイズ最適化はどのように行われているのですか?予測値の分散は考慮されていますか?
ガウス過程を用いたベイズ最適化においては、一般に「EI (改善期待値)」または「PI (改善確率)」のような獲得関数を用いて探索を行います。これらは、目的変数を最大化・最小化したい場合などに妥当な選択となります。
一方で、分散を考慮しない予測値そのものである「平均値(Mean)」単独を獲得関数として使用するケースとしましては、たとえば目的変数を特定の値にしたい場合において、平均値(Mean)によってモデルの予測値そのものを使ったケースが考えられます。
その為、Multi-Sigmaではガウス過程回帰によるベイズ最適化の際、獲得関数としてEI, PI, Meanの3つのオプションが用意されております。
参考までに、弊社技術ブログより『【効率的な条件探索】Multi-Sigmaで簡単ベイズ最適化』の記事URLも下記にご紹介します。
ガウス過程回帰を用いたベイズ最適化で計算結果をダウンロードしたときに、入力変数・出力変数以外の変数が追加されています。これらの変数はどのような意味を持つのでしょうか?
– 目的変数名_var:
この変数は、対象とされる目的変数の予測分散 (Predicted Variance)を表しています。予測平均値の不確実性を表す分散のことです。この値が小さいほど、予測平均値の精度が高いことを意味します。– 目的変数名_pi:
この変数は、改善確率 (Probability of Improvement, PI)を表しています。改善確率とは、ベイズ最適化の獲得関数の一つです。学習データの最良値を上回る確率を示します。– 目的変数名_pi:
この変数は、期待改善量 (Expected Improvement, EI)を表しています。期待改善量とは、ベイズ最適化の獲得関数の一つです。学習データの最良値からの改善量の期待値を示します。
適用事例
Multi-Sigmaのマーケティング分野への活用事例はありますか?
過去に、アンケート調査を元に消費者の購入確率を最大化するような、新規技術の機能や仕様を最適化する研究を行いました。また現在、アルミ缶飲料の需要・売上予測の研究を、NEDOのプロジェクトとして実施中です。ただし、上記は公開されていないため、資料などはございません。
Kaggleというオンラインデータ分析コンペティションにおいて、小売店の売上時系列データが公開されています。
https://www.kaggle.com/datasets/manjeetsingh/retaildataset
このデータを分析したユースケース紹介は、Multi-SigmaブログおよびMulti-Sigmaユースケース紹介に記載しています。
[ブログ]
https://aizoth.com/blog/multi-sigma_2025_05_28/
[ユースケース紹介]
Q&A
The task screen doesn’t appear after creating a neural network analysis task, or input and output file saving doesn’t complete in Bayesian analysis.
In Multi-Sigma, text data analysis is not supported. If your data contains text data other than in the header section, it may result in a system error. Please make sure your data doesn’t contain any text data when uploading it.
Can multiple people in our department use the trial version?
For the trial version, we please request that only one representative from your department registers. Each account can only submit one job at a time, so please coordinate the usage among multiple users to avoid conflicts.
In factor analysis, if the contribution of a specific parameter is too high, will it overshadow other parameters?
Since the contribution values sum up to 100%, it is possible for a highly contributing parameter to overshadow others. To address this, you can narrow the range of values for highly contributing parameters during analysis, which may make it easier to observe the effects of other parameters.
When dealing with sparse data, which is common in our case, what should we do to improve AI learning?
Multi-Sigma offers a feature to generate experimental conditions randomly. You can conduct experiments using these conditions and combine them with your past experimental data as input. This way, you can effectively use your existing data for AI learning.
Is there a visualization feature for the results?
While Multi-Sigma has a graphing feature for AI prediction results, it displays only the last few dozen data points. To view the entire dataset, it’s recommended to download the result file and visualize it using tools like Excel.
How can I visualize the results of multi-objective optimization?
You can create a two-dimensional graph with the most important objective variable plotted on the x-axis and the next most important one on the y-axis. Alternatively, you can download the multi-objective optimization result file, normalize each objective variable by dividing them by their maximum values, and then visualize the normalized data.
What’s the recommended data split ratio between training and validation data?
A good starting point is a 9:1 ratio for training and validation data. You can use Excel’s RAND() function for randomization when splitting the data.
My prediction accuracy is not very good.
If the auto-tuning feature for AI learning doesn’t improve prediction accuracy, consider adjusting how you create the training data, increasing the amount of training data, or understanding that some problems may inherently have low prediction accuracy regardless of the method used.
I want to find the optimal ratio between A and B, with A + B equal to 100%. Is this possible?
You can achieve this by including either A or B in the training data. Alternatively, include both A and B in the training data and use constraints during optimization, setting the coefficients of A and B to 1 while ensuring they sum up to 1 (or 100%).
I have around 50 explanatory variables and about 15 target variables, with data of about 50,000 rows. Is it possible to perform the analysis? If it seems challenging, I’m willing to reduce the data by removing similar data or zones with no demand. Could you provide guidance on the approximate limit?
The maximum data size you can upload for one analysis (project) is 3MB. It’s possible that your data may exceed this size. If you encounter this issue, as you mentioned, you can consider reducing the data by removing some portions. We are exploring options for handling larger datasets in future developments.
Is it possible to filter the Pareto solutions from the solution set?
In Multi-Sigma, you can obtain sets of Pareto solutions for multiple objective variables. You can download these results and use software like Excel to extract the solutions that offer the best balance of objective variables.
Can qualitative data be handled?
Yes, it’s possible. You can convert qualitative data into numerical values. For example, you can assign numerical values like “0” for “Male” and “1” for “Female” to handle gender data.
Example 1:
Age Height Weight Gender
25 172.2 62.7 Male
32 159.3 57.2 Female
48 168.5 65.1 Male
↓ Convert Gender to Numerical Values
Age Height Weight Gender
25 172.2 62.7 0
32 159.3 57.2 1
48 168.5 65.1 0
Example 2:
Age Height Weight Blood Type
25 172.2 62.7 A
32 159.3 57.2 B
48 168.5 65.1 O
↓ Convert Blood Type to Numerical Values
Age Height Weight A B O
25 172.2 62.7 1 0 0
32 159.3 57.2 0 1 0
48 168.5 65.1 0 0 1
When data volume increases, can I save only the AI model and later import it into Multi-Sigma?
Currently, this functionality is not available. While you can download the AI model you’ve created, it’s intended to be used outside of Multi-Sigma, such as in Python. We are considering the possibility of adding project and AI model backup features in the future.
I have multiple material candidates, and I ultimately want to use around two of them. Should I include all the materials in experiments, even if some seem unlikely to be used?
It’s advisable to include all material candidates in experiments. You can use factor analysis to determine the contributions of each material. During optimization, you can set the maximum and minimum values of materials you don’t want to use to be the same, effectively optimizing only the materials you want to use.
Is it possible to create VS plots to compare the prediction accuracy of multiple models created for ensemble purposes?
Currently, there’s no built-in feature for this. To compare prediction accuracy, download the prediction results from each model and compare them manually to the ground truth data using tools like Excel. We may consider adding this feature in future developments.
Is there a feature in Multi-Sigma that instructs on what kind of experimental data to take when there is bias in the distribution of experimental data?
You can use the “Data Profiling” feature to visualize the distribution of your data. This can help you identify trends in missing data and decide what kind of experimental data to collect next to address any biases. Additionally, using Bayesian optimization can prioritize gathering data from sparse regions to improve the overall dataset.
How are missing values in the data handled?
Data with missing values will result in an error. To handle missing values, you should either impute them using an appropriate method or remove rows with missing data before uploading the dataset.
If there are continuous data with singular changes in between, can they be analyzed in the same way?
You can analyze data with singular changes, but it’s important to consider the presence of these singularities. Singularities or abrupt changes in the data can significantly impact the analysis and modeling process. It’s crucial to preprocess the data and choose appropriate modeling techniques to handle such cases effectively.
Can variables with significantly different scales be analyzed?
In general, having variables with different scales can negatively impact predictive accuracy in neural networks. Therefore, Multi-Sigma performs data preprocessing to standardize or normalize the numerical scales before analysis.
Are there any restrictions on the data type of numerical values used?
There are no restrictions. You can use either integers or real numbers (decimal values). When performing optimization, you can choose whether each explanatory variable should be treated as an integer or real number.
What level of prediction error can be considered “high prediction accuracy”?
In the field of physics, an error of around 10% is often considered high accuracy. In the field of biology, a prediction error of around 20% is considered reasonable.
The analysis has been running for a whole day and hasn’t finished. Why is that?
It’s possible that the page hasn’t been refreshed. Please try refreshing the page by pressing the CTRL key and F5 key simultaneously.
How is the contribution score calculated?
Multi-Sigma uses the Partial Derivative (PaD) method described in Gevrey et al. (2003) to calculate the contribution scores.
Are there any marketing use cases for Multi-Sigma?
Multi-Sigma has been used in the past for optimizing features and specifications of new technologies based on consumer purchase probability from survey data. Currently, it is being used for demand and sales forecasting for aluminum can beverages as part of a NEDO project. However, these cases may not have publicly available materials.
I accidentally clicked on “Auto-tuning Training” in AI learning, but I can’t click on “Force Terminate”. What should I do?
While the job status is “CREATED,” the analysis library is being loaded, and you’ll need to wait. Once the training starts and the job status changes to “RUNNING,” you should be able to click on “Force Terminate” to halt the training.