G検定における重要人物と関連ワードまとめ

G検定によく出てくる人と、その関連ワードをまとめてみます。

 

アラン・チューリング(Alan Mathieson Turing)

ジョゼフ・ワイゼンバウム(Joseph Weizenbaum)

  • 1923-2008
  • 1966年、自然言語処理プログラムであるELIZAを発表
  • ELIZAとともに有名な初期の会話ロボットPARRY(1972年)はELIZAと対話したことがあり、その最初の対話はRFC439として残されている。

テリー・ウィノグラード(Terry Allen Winograd)

  • 1970年、SHRDLU(シュルドル?)を開発ー「積み木の世界」

ヤン・ルカン(Yann Le Cun)

ジェフリー・ヒントン(Geoffrey Everest Hinton)

  • 2020年現在、トロント大学・Googleで働いている。
  • 2006年、単層のオートエンコーダに分割し入力層から繰り返し学習させる層ごとの貪欲法を積層オートエンコーダに適用することで、汎用的なオートエンコーダの利用を可能とした。
  • 2012年、物体の認識率を競うILSVRCにおいて、Alex KrizhevskyらとともにAlexNetを用い圧倒的1位を獲得(SuperVision)

Alex Krizhevsky

  • 2012年、物体の認識率を競うILSVRCにおいて、ジェフリー・ヒントンらとともにAlexNetを用い圧倒的1位を獲得(SuperVision)
  • 80 million tiny imagesからデータを抽出しCIFAR-10というデータセットを作成

福島邦彦

  • ネオコグニトロンの研究

アーサー・サミュエル(Arthur Lee Samuel)

  • 1901-1990
  • IBM
  • 機械学習を「明示的にプログラムしなくても学習する能力をコンピュータに与える研究分野」と定義した。

レイ・カールワイツ(Ray Kurzweil)

  • 2012年にGoogleに入社。

  • 技術的特異点について論じた。

  • 著書『The Singularity Is Near : When Humans Transcend Biology（邦題：ポスト・ヒューマン誕生）』でシンギュラリティ論を論じた。

イアン・グッドフェロー(Ian J. Goodfellow)

  • 2020現在、GoogleのGoogle Brainリサーチ・サイエンティスト
  • 敵対的生成ネットワーク(GAN)を提案

スティーブン・ホーキング(Stephen William Hawking)

  • 1942-2018
  • シンギュラリティに危機感を抱いた
  • 2014年、テレビのインタビューにおいて「人工知能の進化は人類の終焉を意味する」と発言（「AIの完成は人類の終焉を意味するかもしれない」？？）

Vladimir Vapnik

 Andrew Ng

  • 2014 年から 2017 年にかけて Baidu の AI 研究所所長を務めた
  • Courseraを創業

 

 

 

 

おわり・。・

生成モデル

G検定

執筆中

 

1.16-

 ゴール

GANの構造や特徴を理解する。

 

キーワードマップ

 

生成タスク

深層生成モデル

深い層のディープラーニングを用いて、生成タスクを解くモデル。

変分オートエンコーダ（VAE、Variational Autoencoder）

代表的な深層生成モデルの一つ。オートエンコーダに改良を加え、新しいデータを生成できるようにしたモデル。

入力⇒エンコーダ⇒サンプリング⇒デコーダ⇒出力

図。

 

敵対的生成ネットワーク（GAN、Generative Adversarial Network）

ニューラルネットワークで深層生成モデルを構成するアーキテクチャ。

ジェネレータとディスクリミネータという、敵対する目的を持つモデルを交互に学習していく。

VAEより鮮明な画像を生成できる傾向にある。

ジェネレータ（Generator）

もととなるデータやランダムなノイズなどの入力を受け取り、偽物のデータを生成し、出力する。

ディスクリミネータ（Discriminator）

学習用のデータセットに含まれている本物のデータか、ジェネレータが生成した偽のデータかを見分ける。

 

GANの派生モデル

  • DCGAN: Deep Convolutional GAN。ジェネレータとディスクリミネータにCNNを用いたモデル。
  • pix2pix: １対１対応する２種類の画像を変換するモデル。
  • StleGAN: Styleとして潜在変数を取り込むという工夫を行い、高品質な画像を生成できるようにしたモデル。
  • ConditionalGAN: 画像を条件として入力して、新たなデータを生成するモデル。
  • AnoGAN: GANを異常検知に用いたモデル。

 

 

終わり・。・

 

CNN

G検定

執筆中

1.13-1.14

★どういったモデルなのか、だれが開発したかが問われる可能性があります。。。。（人名。。。覚える必要ありますか？？覚えたところで何になりますか？？？？なんで覚えなきゃ。。。）

 

※ニューラルネットワーク（neural network）

 

畳み込みニューラルネットワークの歴史

ネオコグニトロン（Neocognitron）

1979年に福島邦彦によって提唱されたモデル。

人間の視覚野に含まれる、単純型細胞（S細胞）と複数型細胞（C細胞）の２つの細胞の働きを初めて組み込んだ。

 

LeNet

1998年にヤン・ルカン（Yann LeCun）によって提唱されたモデル。

 畳み込み層とプーリング層（pooling layer）を組み合わせたCNN（Convolutional Neural Network）初期のモデル。

 

CNNの構造

CNNの概要

主に画像処理の分野で使用され、高い効果を上げているモデル。

畳み込み層とプーリング層の２つの層では入力画像が二次元のまま特長マップとしてネットワークを流れる。

 

畳み込み層

入力データをカーネルと呼ばれるフィルターを使って、畳み込み処理を行ったものを特長マップとして出力する層。

 

チャンネル（チャネル）数

フィルタの数で増減が決まる。例えば、カラー画像が入力されるときはRGBの３チャンネルである。

カーネル（karnel）

畳み込み処理を行う際に用いられるフィルター。

畳み込み層では、カーネル内部の値をパラメータとして学習をおこなう。

カーネルサイズはハイパーパラメータの１つ。

ストライド（stride）

畳み込み処理において、カーネルを移動させる幅のこと。

ハイパーパラメータの１つ。

パディング（padding）

畳み込み処理前に、画像に余白となる部分を追加し、畳み込み処理後の特長マップのサイズを調整するもの。パディングを行う位置、サイズ、埋め方などはハイパーパラメータとして設定する。

 

プーリング層（pooling layer）

入力される特長マップを、決められたルールに従って小さくする操作を行う層。

サブサンプリング層（subsumpling layer）、ダウンサンプリング層（downsumpling layer）とも呼ばれる。

代表的なものは、

  • Averageプーリング；特定領域の平均値を用いて値を圧縮する。
  • MaXプーリング；特定領域の最大値を用いて値を圧縮する。

全結合層

入力側の各ノードから出力側のすべてのノードに対して結合する層。

ニューラルネットワークを構成する最も基本的な層。

学習するパラメータとして、重みとバイアスを持つ

多層パーセプトロンの主な構成要素でもあり、CNNでは出力層付近で用いられやすい。

 

GAP（Global Average Pooling）

 特長マップを一次元に変換する手法の１つ。

各特長マップから、値の最大値をとったり、平均値でまとめることで一次元に変換する。

特長マップを直接一次元にするよりもパラメータを減らすこともできる。

GoogLeNetで用いられた。

 

画像認識の様々なモデル

ILSVRC（ImageNet Large Scale Visual Recognition Challenge）

画像認識の分類制度を競う競技会。

2020年現在は開催されていないが、この協議会を通してCNNのモデルが競われてきた。

AlexNet

画像認識において、初めて深層学習の概念を取り入れたモデル。

ジェフリー・ヒントン教授（Geoffrey Everest Hinton）らのチームが発表し、2012年のILSVRCにおいて圧倒的1位を取った。

※ジェフリー・ヒントンは2020年現在、トロント大学とGoogleで働いている。

GoogLeNet

2014年のILSVRCにおいて、１位を取ったモデル。

AlexNetなどの既存のアーキテクチャとは異なり、1x1 Convolution、global average poolingに加え、Inceptionモジュール（Inception module）と呼ばれる小さなネットワークを積み上げた構造を持っている。Auxiliary Lossを追加して、勾配消失や正則化を実現している。

VGG

名前はVisual Geometry Group, Department of Engineering Science, University of Oxfordに由来する。

2014年のILSVRCにおいて、２位を取ったモデル。

畳み込み層とプーリング層からなる、シンプルなアーキテクチャである。

5x5のカーネルを3x3のカーネルを用いて層を深くすることによって近似している。過学習の緩和や計算量を削減するといった効果を期待し、層を深くするだけでなく、パラメータを削減している。

※持つ層の数によってVGG16やVGG19などの名前がついているものもある。

ResNet

2015年のILSVRCにおいて、１位を取ったモデル。

勾配消失問題を改善する、スキップコネクションと呼ばれる、ショートカット構造を持つことで、非常に深いネットワーク（152層）での学習を可能にした。

その他のCNNモデル

PyramidNet :ResNetを改良したモデル。徐々に畳み込み層のカーネル数を増加させるように工夫している。

DenseNet    :ResNetを改良したモデル。すべての層にショートカット構造をつなぐ工夫をしている。

EfficientNet :モデルの広さ、深さ、解像度を調整し、得られたモデル。

 

終わり・。・