AI入門その2~AIの基礎知識~

その１では、AIとはという外観のお話をしました☆

　

　

次にAIの基礎知識について、考えていこうと思います

　　

1.データの可視化の具体例

　

　

異常に気付きやすくなる・・・2次元のグラフで見ると株価の異常変動や不正利用などはすぐにわかる

　

属人的スキルの平準化・・・新人でも経験者でも検査が可能になる

　

共通理解が得られやすい・・・誰もが直感的にわかり、共通理解が得られやすい

　

　

2.データの可視化の手法

・棒グラフ

・折れ線グラフ

・円グラフ

・積み上げグラフ

・レーダーチャート

・ヒートマップ

1.相関関係と因果関係の違い

　

　

相関関係・・・一方が増えると他方も増える。一方が増えると他方も減るのような相関がある

　

因果関係・・・一方が原因、他方が結果のような因果がある。

　

つまり、相関関係があると因果関係はあるとは言い切れないが、因果関係はあると相関関係があると言い切れる

　

引用URL : https://www.bewith.net/gemba-driven/article/digital/entry-242.html

　

2.見かけ上の相関関係の例

例えば、夏にかき氷とスイカが沢山売れます

　

つまり、かき氷が売れれば、スイカも売れるという相関があるように見えます

　

しかし、現実はそうではなく、

気温が上がれば、かき氷が売れる相関がある

気温が上がれば、スイカが売れる相関がある

　

という勘違いがあるケースがあります

これが見かけ上の相関例になります。つまり、本質的要素が別にある場合です

　

　

3.現実世界での因果推論の難しさ

例えば、広告を出して売上が伸びるのかという検証を考えます

　

これは現実的にはかなり難しい実験です

なぜなら、広告を出す前後の売上を同一人物に対して比較しないと厳密ではないからです

また、SNSなどの広告以外の影響も取り除く必要があります

このような場合は、

ランダム化比較実験を行うのが一般的です

　

つまり、ある集団をランダムにグループをわけます

今回だと、“広告を見た集団”と“広告を見ていない集団“

さらに全員SNSを見ていない集団という条件も付けます

　

こうすることで、広告の有無の効果検証が行う事ができます

　

ここで難しいのは、あくまで瓜二つの同質集団を作れないということです

あくまで近似的な考え方で、条件も細かくすればするほど検証が難しくなります

1.機械学習とデータマイニングの違い

　

　

違いはAI自身の判断の有無

　

　

2.データマイニング例

　

　

　

3.データ収集のためのツール

　

☆データベースからSQLででデータ抽出

機械学習やデータマイニングをするためにはデータが必要

　

そのデータを引っ張って来るツールが必要

　

データはデータベースと呼ばれるところに大量に蓄積されています

　　

その蓄積されたデータを抽出できるのがSQLというデータベース言語

　

つまり、データベースにあるデータをSQLで引っ張ってきて、機械学習やデータマイニングを実行します

　

☆データベース管理システムの種類

SQLが使えるデータベース管理システムは次のものが代表的

　

・MySQL

・PostgreSQL

・Microsoft SQL Server

　

☆Webからのクローリングとスクレイピング

Web上にあるデータを収集したいときに使うのが”クローリング”と”スクレイピング”

　　

クローリングで求めるデータがありそうなWebページをダウンロード

スクレイピングでそのWebページの必要なデータだけ抽出

1.学習段階と予測段階

　

教師(正解)あり学習には、学習段階と予測段階のステップがある

　

学習段階 : 正解データがある状態で、学習済みモデルを最適化

予測段階 : 学習済みモデルに対して、未知のデータを入力し、適切な予測結果を出力

　

難しい部分としては、

正解データを用意できるかという部分

　

例えば、

製造などの不良検出だとそもそも99.9%の不良は出しませんだとデータあまり用意できません

　

2.教師あり学習利用場面

　

1.データから分析結果が得られる教師なし学習

　

教師なし学習には、学習段階と予測段階のステップはない

　

学習済みモデルに入力データを与えると、いきなり出力データが得られる

　

教師ありの場合より難易度が高く、実現も限定的

　

2.教師なし学習利用場面

　

参考URL : https://zero2one.jp/ai-word/k-means-method/

参考URL : https://datachemeng.com/tsne/

1.報酬が多く貰える方法を学習する強化学習

　

　

“報酬を与え、報酬を最大化する方法を学習する”という手法

　

　

教師あり、教師なしの学習とは異なり学習データはありません

　

　

AI自身の試行錯誤のみで学習するのが特徴

　

　

例えば、下記のように設定

エージェント→車

環境→走行中の道路

　

そして下記のような強化学習を行います

エージェント→行動→環境→状態・報酬→繰り返し

　

2.強化学習に用いられる用語

　

強化学習は、教師あり、教師なしの学習とは異なるので、

異なった用語が使われることがあります☆

　

　

3.強化学習の利用シーン

　

☆広告の最適化

　

バンディットアルゴリズムと呼ばれるものがあり、多腕バンディット問題を解くときに使用される

　

多腕バンディット問題とは、得られる報酬の期待値が異なる選択肢が複数あるとき、

　

できるだけ少ない試行回数で報酬のよい選択肢を選んでいき、報酬の合計を最大化したいという問題

　

この応用として、どの広告が顧客や予約などを多く集め、目標を達成できるかという問題を解いていく

　

　

☆Web解析

　

ユーザーのWebサイト上での行動履歴を学習し、CVに繋がる最適行動を把握

1.ビッグデータの定義とAIとの関連性

　

　

一般的にはビッグデータは大量で”リアルタイムに発生する構造化・非構造化データを蓄積/分析/処理する技術またはデータ“

　

　

特徴は“Volume(量)”,”Velocity(速度)”,”Variety(多様性)”

　

　

Volume : データの量とその処理能力

　

Velocity : 変化の速さとそれに追従できる更新頻度

　

Variety : 構造化されていない多様なデータ

　

　

ビッグデータとディープラーニング(深層学習)の相性は良い

　

なぜなら、AI精度を上げるためには、データを何度も読み込ませ、学習を積み重ねる必要があるから

　

2.ビッグデータの活用例

　

下記の例があります

　

　

3.ビッグデータ活用における課題

　

☆データ分析基盤

　

膨大なデータを蓄積し、加工し、分析が行える技術基盤

　

　

☆データサイエンティストの育成

　

日本ではプログラミングが出来る人や統計学がわかる人が不足している

　

　

4.データの品質考慮

　

　

データ品質評価軸例

1. 4つの段階に分かれるAIシステムの段階

　

　

AIシステム開発フロー

　

　

開発フローの上流工程

　

　

2.AIシステム開発の難しさ

　

下記の例があります

2023年7月26日AI入門その1～AIとは？~