第二節(jié) 深度神經(jīng)網(wǎng)絡(luò)模型 

2.1 線性神經(jīng)網(wǎng)絡(luò)實(shí)例 

2.1.1 線性回歸 

2.1.2 softmax 回歸 

2.2 多層感知機(jī)實(shí)例 

2.2.1 多層感知機(jī) 

2.2.2 模型選擇、欠擬合和過(guò)擬合 

2.2.3 權(quán)重衰減 

2.2.4 暫退法（Dropout） 

2.3 卷積神經(jīng)網(wǎng)絡(luò)實(shí)例 

2.3.1 從全連接層到卷積 

2.3.2 多輸入多輸出通道 

2.3.3 匯聚層 

2.3.4 卷積神經(jīng)網(wǎng)絡(luò)（LeNet） 

2.4 循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)例 

2.4.1 序列模型 

2.4.2 語(yǔ)言模型和數(shù)據(jù)集 

2.4.3 循環(huán)神經(jīng)網(wǎng)絡(luò) 

2.5 生成對(duì)抗網(wǎng)絡(luò)實(shí)例 

2.5.1 概率生成模型 

2.5.2 變分自編碼器 

2.5.3 生成對(duì)抗網(wǎng)絡(luò) 

2.6 基于注意力機(jī)制的 Transformer 架構(gòu) 

2.6.1 注意力機(jī)制 

2.6.2 自注意力機(jī)制 

2.6.3 Transformer

第三天 基于深度學(xué)習(xí)的透射式

光學(xué)系統(tǒng)初始結(jié)構(gòu)設(shè)計(jì)

第一節(jié) 監(jiān)督學(xué)習(xí)過(guò)程 

1.1 DNN 模型介紹 

1.2 自歸一化神經(jīng)網(wǎng)絡(luò)參數(shù)初始化方法 

1.3 SELU 函數(shù)及使用 

1.4 Softplus 函數(shù)及使用 

1.5 最鄰近搜索算法 

1.6 監(jiān)督損失函數(shù)的構(gòu)建 

第二節(jié) 無(wú)監(jiān)督學(xué)習(xí)過(guò)程 

2.1 光線追跡 

2.2 光線追跡自定義監(jiān)督函數(shù) 

第三節(jié) 半監(jiān)督學(xué)習(xí)過(guò)程 

3.1 超參數(shù)設(shè)置 

3.2 監(jiān)督函數(shù) 

3.3 模型可靠性的討論與驗(yàn)證