开发知识点-人工智能-深度学习Tensorflow2.0

Tensorflow

Windows x86-64 executable installer

python-3.8.0-amd64.exe

建议 使用virtualenv实现多个版本Python共存

使用镜像源很简单,用-i指定就行了:

sudo pip install -i https://pypi.douban.com/simple/ saltTesting

卸载 pip uninstall django

常用的参数有:
-p:指定一个版本python环境;通常当你的系统中安装了多个python版本时会用到;默认情况下virtualenv会优先选取它的宿主python环境,即它安装在那个python版本下就会默认选择哪个版本作为默认python隔离环境。

--no-site-packages:不使用系统环境的python安装包,即隔离包中不能使用真实python环境的安装包;当前版本这个选项是默认的。

--system-site-packages:与上面相反,使隔离环境能访问系统环境的python安装包

--distribute:copy一个python环境的分支,默认会安装setup、pip、wheel等基础模块

virtualenv test,使用该命令在指定的路径下创建Python环境,默认与系统环境一致。
如果想要进入该虚拟环境则要进入test/Scripts/文件夹下,运行activate.bat,在Linux下在bin目录下,运行命令为source xx/xx/activate退出命令为deactivate.bat

指定其他Python环境virtualenv -p C:\Python27\python2.exe py2
快捷配置

基于virtualenv的虚拟环境管理工具

pip install virtualenvwrapper-win

安装完成后配置环境变量

把python的安装目录和scripts文件夹加到环境变量的path

做得多环境 环境问题



python -m pip install --upgrade pip

pip install tf ( py2.py3 版本共存 )

python3 -m pip install jupyter

python3 -m pip install np

来自TF am I 这本书

执行计算 OP 算子/节点 operation eg:add mul

运算节点 GPU分布式 计算分发


0-d 3 5

1-d (100,)

2-d 256x256x3 w h c

Anaconda

Jupyter Notebook --ip=127.0.0.1


import numpy as np

import tensorflow as tf

TF Learn tf.contrib.learn 同 scikit-learn 的 fit函数
TF Slim tf.contrib.slim 轻量级浓缩高级接口版本 定义/训练/评估复杂的网络结构模型

简单参考

  • keras 、
  • Tensorlayer
  • Theano Python 库,用来定义、优化和模拟数学表达式计算,用于高效的解决多维数组的计算问题
  • Computational Network Toolkit (CNTK) 是微软出品的开源深度学习工具包。






https://www.bilibili.com/video/BV1VA41137H2?p=1

一、 简单 概述

算法 实现

项目 怎么构建 模型

深度学习 ----神经网络 架构

重点 核心

机器视觉 卷积神经网络

自然语言处理 递归神经网络

真实数据集

展开 建模 分析

二、Tensorflow2版本简介与心得

数学基础 和 开发 能力 不是很强 可以利用 框架

框架 提供了 各种API 可调用

我们要做 设计 网络模型

跟 求解 相关 (反向传播 求梯度) 交给框架

框架选取

更新程度15年 出 Google的

论文 算法 开源很实用

可以学习 多个框架 取长补短

二次开发 熟悉底层 好复现



session 初始化 执行结果

简化 建模过程

三、深度学习框架安装 Tensorflow2版本安装方法


https://www.anaconda.com/products/individual-b





安装 Anaconda 直接安装

  • 如果出现问题 就用这两种方法 试一试

一、

pip config set global.index-url https://mirrors.aliyun.com/pypi/simple
pip config unset global.index-url

镜像消除

阿里云 http://mirrors.aliyun.com/pypi/simple/

中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/

豆瓣(douban) http://pypi.douban.com/simple/

清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/

中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/

二、

csharp 复制代码
pip install tensorflow==x.x.0
pip install tensorflow-gpu
pip.exe install tensorflow  -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
csharp 复制代码
 https://tensorflow.google.cn/install/source_windows
csharp 复制代码
 https://support.microsoft.com/zh-cn/help/2977003/the-latest-supported-visual-c-downloads



cudart64 报错
https://www.dll-files.com/download/527365cb86fd76a9a7b7e9c75b4842d3/cudart64_110.dll.html?c=VTJuUXgvTENydDYzektxWENSbTZXUT09





https://pypi.org/project/tensorflow-gpu/

四 、 TF 基础操作

函数 api 使用方法

边用边查

创建 矩阵类型 x

tf.加法减法乘法除法

直接 执行出 结果 动态图 形式

构建 一个 19 36 矩阵

张量 ----- 矩阵 -------Tensor

(机器学习 所有的数据 都是 矩阵 )

对矩阵 做 操作 数学公式 变换

So tensor flow = 矩阵 在 这个 大框架 流动

向量

矩阵

三维数据 eg H W C 三维 颜色

多维数据 视频 多个 图像 融合在一起

... 等等

可以跟 numpy做 交互

得到数组


numpy 创建 计算

交互 转换 2.0 特性

案例

数据 处理流程

建模

----基于 技术栈 (框架) 会用就行

基于 算法 (PPT,资料) 网络模型 建模 流程

五 深度学习要解决的问题

神经网络 之前 熟悉一下 人工智能 这个 圈子

AI

计算机视觉 自然语言处理 数据挖掘 ML机器学习(DL深度学习)

DL深度学习 神经网络

特征提取 方法 √ 算法×

不是 拼 算法

数据层面 ---》食材 特征

拿到数据 --> 数据处理 ---> 人为 分析 特征 提取data 选择 和 组合

数据变换 更有价值输入 ------------机器学习 偏人工 (各种任务 实现了 数学公式 )

网络 选择 合适特征 组合 分解 融合

---------深度学习

支持向量机 逻辑回归 随机森林 调参数 ---》 逼近上限 不是 决定上限

文本 图像 ? 特征选择????

X --》 传统 回归 当中 找特征??? 权重参数

特征 对 结果影响 更难

神经网络 黑盒子

原始数据 进去 后 这种 变换操作

自动特征提取 ---->计算机 能 识别 的 特征

自己学习

六 深度学习应用领域

讲 神经网络 之前 看 应用场景

无人驾驶

小学 奥数 追击问题

检测识别

计算机视觉

自然语言处理 用的 比较多

传统 数据挖掘 任务 用的 不多

视觉 输出卷 模型

语言 文本 模型

识别 人脸关键点 + 视觉 变换

计算量大 移动端 支持不友好 速度问题

逻辑回归 随机森林 参数 撑死 几十个

神经网络 可以 成百万 上千万

可以 自己 取合适的 特征

优化算法 调参 也比较慢

医学 检测癌细胞

基因组合 变异

人脸 像素点 计算

变脸 = 变点

超分辨率 重构

上色

神经网络 变形体 特别多

深度学习 崛起 历史

2009 年

计算机视觉

手里面 没有数据

全美 数据集合

收集标记 图像

人脸 68个 点 人脸的 准确位置

图像分类 库

imagenet 图像分类 比赛

2012年 ALEX

深度学习 神经网络 完成

第二名 集成算法

各大会议 论文

比赛

文章

公司 项目

数据生成

数值数据 文本 数据

图像

人脸标注

翻转 镜面 平移

数据量


#1

简介

TensorFlow

一个基于数据流编程(dataflow programming)的符号数学系统,

被广泛应用于各类机器学习(machine learning)算法的编程实现,

其前身是谷歌的神经网络算法库DistBelief。

Tensorflow拥有多层级结构,

可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算,

被广泛应用于谷歌内部的产品开发和各领域的科学研究 。

TensorFlow由谷歌人工智能团队谷歌大脑(Google Brain)开发和维护,拥有包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud在内的多个项目以及各类应用程序接口

(Application Programming Interface, API) [2] 。

自2015年11月9日起,

TensorFlow依据阿帕奇授权协议(Apache 2.0 open source license)开放源代码 。


TensorFlow即可以支持CPU,也可以支持CPU+GPU。

前者的环境需求简单,后者需要额外的支持。

TensorFlow是基于VC++2015开发的,

所以需要下载安装VisualC++ Redistributable for Visual Studio 2015 来获取MSVCP140.DLL的支持。


下载并安装anaconda

下载并安装Python编译器,以3.7X为例。

如果要安装GPU版本(有N卡,即NVIDIA显卡),需要以下额外环境:

0)有支持CUDA计算能力3.0或更高版本的NVIDIAGPU卡。

1)下载安装CUDA Toolkit 8.0,并确保其路径添加到PATH环境变量里;

2)下载安装cuDNN v6或v6.1,并确保其路径添加到PATH环境变量里;

3)CUDA8.0相关的NVIDIA驱动。


1.检查Anaconda是否成功安装:conda --version

2.检测目前安装了哪些环境:conda info --envs

3.检查目前有哪些版本的python可以安装:

conda search --full-name python

4.安装不同版本的python:

csharp 复制代码
 conda create --name tensorflow python=3.7

-- 错误问题解决


下载地址 https://www.anaconda.com and https://mirrors.tuna.tsinghua.edu.cn/

https://www.anaconda.com/products/individual







人工智能 应用


# 人工智能 历史

# 认清 ML && DL#

# 选择方法 训练模型#
  • 正则化
  • 回归
  • 神经网络
  • 聚类
  • 决策树
  • 深度学习
  • 贝叶斯网络
  • 维度下降
  • 判断 数据集样本 ----->选择方法 ---->训练模型

#数学基础 #

# AI ^ 深度学习ML ^ 机器学习DL 关联#


深度学习(Deep Learning)基础

线性模型

DNN深度神经网络

Caffe,全称Convolutional Architecture for Fast Feature Embedding

兼具表达性、速度和思维模块化的深度学习框架

theano

MXNet 是亚马逊(Amazon)选择的深度学习库

PyTorch是使用GPU和CPU优化的深度学习张量库 reasearch

caffe2 product

Deeplearning4j ---java

Keras是一个由Python编写的开源人工神经网络库

python 接口


相关推荐
HPC_fac13052067816几秒前
科研深度学习:如何精选GPU以优化服务器性能
服务器·人工智能·深度学习·神经网络·机器学习·数据挖掘·gpu算力
猎嘤一号1 小时前
个人笔记本安装CUDA并配合Pytorch使用NVIDIA GPU训练神经网络的计算以及CPUvsGPU计算时间的测试代码
人工智能·pytorch·神经网络
天润融通1 小时前
天润融通携手挚达科技:AI技术重塑客户服务体验
人工智能
Elastic 中国社区官方博客3 小时前
使用 Elastic AI Assistant for Search 和 Azure OpenAI 实现从 0 到 60 的转变
大数据·人工智能·elasticsearch·microsoft·搜索引擎·ai·azure
江_小_白4 小时前
自动驾驶之激光雷达
人工智能·机器学习·自动驾驶
yusaisai大鱼5 小时前
TensorFlow如何调用GPU?
人工智能·tensorflow
weixin_466202785 小时前
第31周:天气识别(Tensorflow实战第三周)
分类·数据挖掘·tensorflow
珠海新立电子科技有限公司8 小时前
FPC柔性线路板与智能生活的融合
人工智能·生活·制造
IT古董8 小时前
【机器学习】机器学习中用到的高等数学知识-8. 图论 (Graph Theory)
人工智能·机器学习·图论
曼城周杰伦8 小时前
自然语言处理:第六十三章 阿里Qwen2 & 2.5系列
人工智能·阿里云·语言模型·自然语言处理·chatgpt·nlp·gpt-3