tensorflow基础 - 技术栈

windows安装tensorflow

anaconda或者pip安装tensorflow，tensorflow只支持win7 64系统，本人使用tensorflow1.5版本（pip install tensorflow==1.5）

tensorboard

tensorboard只支持chrome浏览器，而且加载过程中可能有一段时间假死状态。

tensorboard --logdir=path启动（logdir需要有tensorflow的运行日志，tensorboard通过日志分析代码）

tensorboard的日志下面需要建文件夹，才能在tensorboard中筛选日志日期，日志以tfevent文件保存

图表有两种连接关系：

数据依赖（实线）
控制依赖（虚线）

tf.summary.histogram（横轴值，纵轴数量）

tf.summary.image（卷积后的图像特征显示）

tf.summary.scalar name可以使用'/'划分相同类

tf.summary.merge_all返回tensor计算后，writer.add_summary

what-if tool，path to example栏中输入tfrecord文件路径即可

tensorflow

常量、变量（类实现需要初始化、神经网络方向传播算法中可以被算法修改的值）
静态和动态shap，[2，4]数组的属性shap，1*2，placeholder：相当于形参
session.run(tensor)计算tensor值，或者eval，否则值未知

graph、session（只能包含一个graph）、op（图上的节点、输出tensor） eval执行单个节点（tensor转array） run可以多个

学习后的数据保存为模型,避免重复学习（pb文件包含参数和网络图） graph（pbtxt包含网络图） ckpt（包含存储参数）

模型检查点（训练中止和继续）

TFRecords 文件（大数据训练数据使用、使用example对象）

dense tensor（密集张量） sparse tensor（稀疏张量、使用 indices、values、dense_shape指定矩阵中有值的元素）

clip gradients（防止梯度爆炸）

slot（如 MomentumOptimizer 和 AdagradOptimizer 等优化器，有额外的内部变量，可以get_slot获取）

一个输入，输出多个标签（多标签分类问题、softmax激活函数取概率值最大的几个值，softmax概率值接近0，导致梯度消失，准确率低可用logsoftmax替换，pow(10,input)计算概率）

模型训练的分类数>=2(至少有正负样本)，才能保证结果准确性

numpy

np.tobytes转byte数据，np.frombuffer，byte转np

输出分类标签使用one-hot编码（tf.one_hot(label,length=最大数值+1)，tf.argmax解码）

pytorch生成one-hot编码如下：torch.zeros(data.shape[0],64).scatter_(1,label.view(64,-1),1)

tensorflow.reshape返回tensorflow、numpy.reshape返回array

numpy广播机制，最后一位相同，或者有一个轴为1

算法

m-p模型->感知器模型->BP算法 CNN、RNN、DNN算法 keras

感知器（线性系统输入微小偏差输出变化不大，输出wx+b）、神经元模型（输出函数o(wx+b)即激励函数，多层激活拟合输入）

多个隐藏层的神经网络模型（深度学习）、隐藏层激励函数必须是非线性的

正向传播算法、反向传播算法（lost函数对参数求导，分析参数的变化曲线）

Lost函数：自定义（固定）函数（凹函数使用梯度下降算法容易产生局部最优解，常用的Hinge（svm线性可分，模式识别中的算法）、CrossEntropyLoss、Focal loss、Center Loss）、模型输出和期望值的差距
Cost函数【误差函数】：Lost函数的样本平均值，lost单个样本 tf.equal计算准确度（准确度和lost算法不同）

基础的网络结构

CNN：卷积神经网，2个卷积层（取特征值,不改变图像大小），2个池化层（缩小数据量，2X2缩小一半，maxpool取最大值池化），1个全连接层（线性变换、全连接层限制输入文件大小，卷积层不限制） cnn通过卷积远算提取图像特征 linear[condv]+acivation网络模型
RNN：循环神经网络(有序输入输出，语音文字等，容易出现梯度消失LSTM代替，元素之间独立，每个元素可存储上次参数，内部使用softmax计算概率)
GAN：对抗网络（模拟数据、随机数概率统计评估、gan的全局最优解是贝叶斯分类器）
神经网络模型拟合任何函数（不用多项式函数拟合，线性激活函数不构成多项式函数，而是w(wx+b)+b任是线性组合）
神经网络层级加深，拟合效果变差，容易出现梯度消失和爆炸，需要使用残差网络RestNet的结构优化
cnn（图像识别）、rcnn（cnn后做svm分类，目标检测）

图像处理：ImageDataGenerator（keras图像预处理、1张图片随机变换生成多张）

图像标注工具：ImageNet、Labelme（labelme_json_to_dataset命令转换保存的json文件）、

特征提取算法：

hog特征（边缘梯度信息）
haar特征（像素明暗变化）
lbp特征（纹理信息）
VOTT(https://github.com/Microsoft/VoTT)

神经网络模型（输入层--隐藏层--输出层），隐藏层分为

Conv卷积层
Pool池化层，最大值池化和平均池化
FC全连接层，线性连接

word2vector结构：

skip-gram模型（输入层--projection映射层--输出层、输入词汇、输出关联词汇）
cbow模型（存输入的上下文数据、输出分类后的哈夫曼树【不区分词性】）

激活函数（限制输出范围）：

sigmod（概率输出0-1，输出接近0容易梯度消失）
tanh（-1-1）
relu（值域0到无穷大，容易出现梯度爆炸，导数稳定收敛快、sigmod和tanh在0附近收敛快过大数值收敛慢）

梯度下降优化器：

SGD优化器>ADM优化器>Moutain优化器 (消耗时间)

图像处理技术：

物体分类、目标检测、语义分割、实例分割、全景分割

机器学习分类

监督学习：数据拟合（激励函数线性函数无法拟合），输出具体分类，svm（支持向量机、直线拟合分类器），cnn分类器（数据拟合即分类）
无监督学习：输出无固定分类（极大似然估值【贝叶斯分类器最大值】、蒙特卡洛算法【伪随机数算法（有周期性、可预测）】，kmeans算法【随机给定几个区域中心点，遍历所有点计算距离最近中心和重新计算中心点，直到中心点不再变化】）
强化学习：决策问题（Q-learning【DQL深度Q-learning】、随机森林、贪心算法【当前最优解集合，最终局部最优解】）

强化学习可以通过gym小游戏工具来训练

机器学习：分类问题、聚类问题、回归问题、生成问题

机器学习数学模型

IID（独立同分布，训练和测试数据保证相同的分布，深度加深使用BN算法保证每层输入相同分布）

样本分布均衡，否则训练拟合错误

Tensorflow Demo

python 复制代码

import tensorflow as tf

hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
sess.run(hello)
'Hello, TensorFlow!'
 a = tf.constant(10.)
b = tf.constant(32.)   #后面加点表示浮点数
sess.run(a + b)       #42.0000
sess.close()

模型问题

模型不收敛：学习率太高、输入样本数太大（每次采样样本数被总样本整除否则需要丢弃不能整出的样本或者特殊处理dataset重复添加样本）、是否启动优化器

模型过拟合：dropout（输入层、或者全连接层、丢弃率训练0.5，测试1）、L1、L2正则化参数减小方差、BN（1.输入减均值【零均值】2.归一化）

batch normalization批标准化（BN算法），加快收敛和提高准确度，神经网络深度加深后收敛变慢 (保证activation函数输入在[0,1]内，防止梯度消失)

调整样本数可以判断，过拟合和欠拟合

梯度消失：连乘因子小于1，后面的网络层，输入趋于0，参数不发生变化（修改激活函数避免）

梯度爆炸：连乘因子大于1，后面层输入趋于NAN（设置阈值、减小权重）

python图形库

pip install pillow，matplotlib，opencv-python

NL（自然语言）

nltk，文本图形等数据，转换成深度学习的向量输入

命令行

FLAGS = tf.app.flags.FLAGS

tf.app.flags.DEFINE_string("image","png", "input image file") （使用-h产生提示）

tf.app.run(main=,argv=)

使用pyc文件发布或者pip install pyinstaller (打包py文件为exe，dist目录中) （AttributeError: 'str' object has no attribute 'items'卸载setuptools后重新安装）

分类算法

多标签分类：多个输出分类（sigmod，取大于某个阈值）

多类分类：贝叶斯算法、knn算法（多个二分类或者softmax，取多分类中最大概率argmax）

二分类：决策树、svm（wx+b直线函数分割）、sigmod激活函数（二分类负样本和正样本比例失衡，需要在训练的时候调整数据，使代码dataset样本均衡）

分类方法参考：https://www.cnblogs.com/yanshw/p/10831838.html

准确率、召回率、ROC曲线

正样本和负样本1：4，精准率和召回率都很大时，ROC曲线大于某个阈值、AUC指ROC曲线面积（0-1）值越大越准确（混淆【误差】矩阵）

P（正样本） N（负样本）
TP predict 和 label 同时为1
TP += ((pred_choice == 1) & (target.data == 1)).cpu().sum()
TN predict 和 label 同时为0
TN += ((pred_choice == 0) & (target.data == 0)).cpu().sum()
FN predict 0 label 1
FN += ((pred_choice == 0) & (target.data == 1)).cpu().sum()
FP predict 1 label 0
FP += ((pred_choice == 1) & (target.data == 0)).cpu().sum()

p = TP / (TP + FP) 精确度

r = TP / (TP + FN) 召回率

F1 = 2 * r * p / (r + p) 即 2/F1 = 1/r+1/p

acc = (TP + TN) / (TP + TN + FP + FN)

数据集

mnist数据集（手写数字图片）
cifar数据集（物体图片）

参考

https://www.cnblogs.com/xlturing/p/5844555.html基本数学模型（马里奥通关ai）
https://www.imooc.com/article/40710
https://www.cnblogs.com/Anita9002/p/9284817.html监督学习和无监督学习
https://blog.csdn.net/red_stone1/column/info/15855吴恩达专题