学习笔记TF045,深度学习

人工智能,用微型计算机实现人类智能。机器通过大气教练多少磨练,程序不断自小编学习、改进练习模型。模型本质,一堆参数,描述业务特色。机器学习和深度学习(结合深度神经互连网)。

事在人为智能,用总计机实现人类智能。机器通过大气教练多少磨炼,程序不断自小编学习、校订磨练模型。模型本质,一堆参数,描述业务本性。机器学习和深度学习(结合深度神经互连网)。

观念总结机器下棋,贪婪算法,Alpha-Beta修剪法同盟Min-马克斯算法。
AlphaGo,蒙特Carlo树搜索法(Monte Carlo tree
search,MCTS)和深度卷积神经互连网(deep convolutional neural
network,DCNN)。估值互连网(value
network,盘面评估函数),总括盘面分类。策略网络(policy
network),总计每一个棋可能率、胜率。磨练模型进度,分类方法获得第3手策略,直接策略对历史棋局资料库举行神经互联网学习(深度卷积神经网络)获得习得策略,强化学习自小编对局(蒙特Carlo树状搜寻法)得到革新策略,回归全体总计获得估值互连网。谷歌(Google)《Nature》诗歌,《Mastering
the game of Go with deep neural networks and tree search》。

历史观计算机器下棋,贪婪算法,Alpha-Beta修剪法协作Min-马克斯算法。
AlphaGo,蒙特Carlo树搜索法(Monte Carlo tree
search,MCTS)和纵深卷积神经互连网(deep convolutional neural
network,DCNN)。估值网络(value
network,盘面评估函数),计算盘面分类。策略互连网(policy
network),总括每种棋可能率、胜率。磨炼模型进程,分类方法赢得第贰手策略,直接策略对历史棋局资料库实行神经网络学习(深度卷积神经互联网)获得习得策略,强化学习自小编对局(蒙特Carlo树状搜寻法)获得革新策略,回归全体总括获得估值网络。谷歌(Google)《Nature》随想,《Mastering
the game of Go with deep neural networks and tree search》。

纵深学习。前身 是人工神经网络(artificial neural
network,ANN),模仿人脑神经元传递、处理信息形式。输入层(input
layer)输入陶冶多少,输出层(output layer)输出计算结果,中间隐藏层(hidden
layer)向前传播数据。

深度学习。前身 是人工神经网络(artificial neural
network,ANN),模仿人脑神经元传递、处理消息情势。输入层(input
layer)输入练习多少,输出层(output layer)输出计算结果,中间隐藏层(hidden
layer)向前传播数据。

数据预处理,图片,图像居中、灰度调整、梯度锐化、去除噪声、倾斜度调整。输入神经网络第二层,第②层提取图像特点,有用向下传递,最后一层输出结果。前向传来(forword
propagation)。分类可能率向量,前5可能率值。

多少预处理,图片,图像居中、灰度调整、梯度锐化、去除噪声、倾斜度调整。输入神经互连网第1层,第贰层提取图像特点,有用向下传递,最终一层输出结果。前向传播(forword
propagation)。分类概率向量,前5概率值。

深度学习,利用已知多少学习模型,在无人问津数据做出预测。神经元性情,激活函数(activation
function),非线性函数,输入非线性别变化化,前向传播;开支函数(cost
function),定量评估预测值和真实值差距,调整权重参数,收缩损失,反向传播(backword
propagation)。

纵深学习,利用已知多少学习模型,在鲜为人知数据做出预测。神经元天性,激活函数(activation
function),非线性函数,输入非线性别变化化,前向传播;开销函数(cost
function),定量评估预测值和真实值差别,调整权重参数,收缩损失,反向传播(backword
propagation)。

神经互连网算法主题,总括、连接、评估、纠错、磨炼。深度学习增添中间隐藏层数和神经元数,互连网变深变宽,大批量数量磨炼。

神经互连网算法大旨,计算、连接、评估、纠错、演习。深度学习扩张中间隐藏层数和神经元数,互连网变深变宽,大批量数量磨炼。

分类(classification)。输入磨练多少特征(feature)、标记(label),找出特色和符号映射关系(mapping),标记勘误学习不是,提升预测率。有号子学习为监督学习(supervised
learning)。无监察和控制学习(unsuperVised
learning),数据只有特点没有标记。磨练不点名鲜明分类,数据聚群结构,相似类型聚集一起。没有标记数据分结合,聚类(clustering);成功刺激制度,强化学习(reinforcement
learning,卡宴L)。延迟奖赏与磨炼相关,激励函数得到情况行动映射,适合三番五次决策领域。半监督检查学习(semi-supervised
learning),练习多少部分有标志,部分从没,数据分布必然不完全自由,结合有记号数据局地特征,大批量无标志数据总体分布,获得较好分类结果。有监察和控制学习(分类、回归)-半监督学习(分类、回归)-半监督聚类(标记不明确)-无监察和控制学习(聚类)。

分拣(classification)。输入锻练多少特征(feature)、标记(label),找出特色和标志映射关系(mapping),标记勘误学习不是,升高预测率。有号子学习为监察和控制学习(supervised
learning)。无监督学习(unsuperVised
learning),数据唯有特点没有标记。演练不点名明显分类,数据聚群结构,相似类型聚集一起。没有标记数据分结合,聚类(clustering);成功刺激制度,强化学习(reinforcement
learning,哈弗L)。延迟奖赏与教练相关,激励函数获得景况行动映射,适合延续决策领域。半监督检查学习(semi-supervised
learning),练习多少部分有记号,部分没有,数据分布必然不完全自由,结合有标志数据局地特征,大批量无标志数据完全分布,获得较好分类结果。有监督学习(分类、回归)-半监督学习(分类、回归)-半监督聚类(标记不明确)-无监察和控制学习(聚类)。

深度学习入门,算法知识、多量数额、计算机(最好GPU)。
学学数学知识,磨练进度涉及进度抽象数学函数,定义网络布局,定义线性非线性函数,设定优化目的,定义损失函数(loss
function),演习进程求解最优解次优解,基本可能率总计、高等数学、线性代数,知道原理、进度,兴趣涉猎推导注脚。

纵深学习入门,算法知识、多量数码、总计机(最好GPU)。
学习数学知识,磨炼进程涉及进程抽象数学函数,定义互连网布局,定义线性非线性函数,设定优化指标,定义损失函数(loss
function),练习进程求解最优解次优解,基本可能率计算、高等数学、线性代数,知道原理、进程,兴趣涉猎推导注解。

经典机器学习理论、基本算法,协助向量机、逻辑回归、决策树、朴素贝叶斯分类器、随机森林、聚类算法、协同过滤、关联性分析、人工神经互联网、BP算法、PCA、过拟合、正则化。

经文机器学习理论、基本算法,支持向量机、逻辑回归、决策树、朴素贝叶斯分类器、随机森林、聚类算法、协同过滤、关联性分析、人工神经互连网、BP算法、PCA、过拟合、正则化。

编制程序工具(语言),Python解释型、面向对象、动态数据类型高级程序设计语言,线性代数库、矩阵操作,Numpy、Pandas第贰方库,机器学习库sklearn,SVM、逻辑回归,MATLAB,安德拉,C++,Java,Go。

编制程序工具(语言),Python解释型、面向对象、动态数据类型高级程序设计语言,线性代数库、矩阵操作,Numpy、Pandas第③方库,机器学习库sklearn,SVM、逻辑回归,MATLAB,奥迪Q5,C++,Java,Go。

经典散文,最新动态斟酌成果,手写多少字识别,LeNet,物体指标检查和测试,MSCNN,博客、笔记、微信公众号、博客园、新媒体新闻,新兵练习练方法,新模型。

经典杂谈,最新动态研究成果,手写多少字识别,LeNet,物体目的检查和测试,MSCNN,博客、笔记、微信公众号、新浪、新媒体音讯,新兵磨练练方法,新模型。

祥和入手陶冶神经网络,选拔开源深度学习框架,主要考虑用的人多,方向重点汇聚视觉、语音,初学最好从计算机视觉动手,用各样网络模型锻练手写数字(MNIST)、图像分类(CIFA奥迪Q5)数据集。

友善动手演习神经网络,采取开源深度学习框架,重要考虑用的人多,方向首要集中央电台觉、语音,初学最好从电脑视觉动手,用各类互联网模型磨练手写数字(MNIST)、图像分类(CIFAHaval)数据集。

学入兴趣工作领域,计算机视觉,自然语言处理,预测,图像分类、指标检查和测试、录制指标检查和测试,语音识别、语音合成、对话系统、机译、文摘、情绪分析,工学行业,医学印象识别,Taobao穿衣,服装搭配,款式识别,保证、通讯客服,对电话机器人智能问答系统,智能家居,人机自然语言交互。

学入兴趣工作领域,总括机视觉,自然语言处理,预测,图像分类、指标检查和测试、录制目的检查和测试,语音识别、语音合成、对话系统、机译、文摘、情绪分析,农学行业,军事学影象识别,天猫商城穿衣,衣裳搭配,款式识别,保证、通讯客服,对电话机器人智能问答系统,智能家居,人机自然语言交互。

办事难点,准确率、坏案例(bad
case)、识别速度,恐怕瓶颈,结合实际行业领域工作创新,最新科学商量成果,调整模型,更改模型参数,贴近工作要求。

行事难题,准确率、坏案例(bad
case)、识别速度,可能瓶颈,结合实际行业领域工作立异,最新科学钻探成果,调整模型,更改模型参数,贴近工作供给。

历史观基于规则,重视知识。总计方法为大旨机器学习,主要的是做特色工程(feature
engineering),调参,依照世界经历提取特征,文字等华而不实领域,特征相对不难提取,语音一维时域信号、图像二维空域信号等世界,提取特征不便。深度学习,神经互联网每层自动学习特征。TensorFlow深度学习开源工具。

古板基于规则,依赖知识。总括方法为骨干机器学习,首要的是做特色工程(feature
engineering),调参,依照世界经验提取特征,文字等华而不实领域,特征相对简单提取,语音一维时域信号、图像二维空域信号等领域,提取特征不便。深度学习,神经互连网每层自动学习特征。TensorFlow深度学习开源工具。

TensorFlow协助异构划设想备分布式总括(heterogeneous distributed
computing)。异构,包罗区别成分,异构网络、异构数据库。异构划设想备,CPU、GPU宗旨协同合作。分布式架构调度分配总结财富、容错。TensorFlow帮忙卷积神经网络(convolutional
neural network,CNN)、循环神经互连网(recurrent neural
network,RAV4NN),长长期回想网络(long short-term memory,LSTM,TucsonNN特例)。

TensorFlow帮衬异构划设想备分布式计算(heterogeneous distributed
computing)。异构,包罗分歧成分,异构网络、异构数据库。异构划设想备,CPU、GPU核心协同合营。分布式架构调度分配计算财富、容错。TensorFlow帮忙卷积神经网络(convolutional
neural network,CNN)、循环神经网络(recurrent neural
network,福特ExplorerNN),长短时间纪念网络(long short-term memory,LSTM,汉兰达NN特例)。

《The Unreasonable Effectiveness of Recurrent Neural
Networks》。Tensor库对CPU/GPU透明,分化装备运维由框架完结,用户钦赐什么设置做哪些运算。完全部独用立代码库,脚本语言(Python)操作Tensor,实现全体深度学习内容,前向传播、反向传播、图形总计。共享磨炼模型,TensorFlow
slim模块。没有编译进程,更大更扑朔迷离互连网,可解释性,有效日志调节和测试。

《The Unreasonable Effectiveness of Recurrent Neural
Networks》。Tensor库对CPU/GPU透明,分化装备运行由框架完成,用户钦赐什么设置做什么运算。完全部独用立代码库,脚本语言(Python)操作Tensor,实现全数深度学习内容,前向传来、反向传播、图形计算。共享练习模型,TensorFlow
slim模块。没有编写翻译进程,更大更扑朔迷离互连网,可解释性,有效日志调节和测试。

切磋人群。学者,深度学习理论商讨,网络模型,修改参数方法和辩论,产耱科学钻探战线,理论切磋、模型试验,新技巧新理论敏感。算法革新者,现有互联网模型适配应用,达到更好立人日木,模型立异,新算法立异应用现有模型,为上层应用提供不错模型。工业探究者,驾驭各个模型网络布局、算法实现,阅读非凡诗歌,复现成果,应用工业,主流人群。

研讨人群。学者,深度学习理论研商,网络模型,修改参数方法和理论,产耱科学研讨战线,理论切磋、模型试验,新技巧新理论敏感。算法立异者,现有互联网模型适配应用,达到更好立人日木,模型立异,新算法立异应用现有模型,为上层应用提供精美模型。工业商讨者,理解各样模型网络布局、算法完结,阅读出色散文,复现成果,应用工业,主流人群。

TensorFlow工业优势,基于服务端大数据服务(谷歌(谷歌)云平台、搜索),面向终端用户移动端(Android)和嵌入式。模型压缩、五人低精度数据存款和储蓄。

TensorFlow工业优势,基于服务端大数据服务(谷歌(谷歌)云平台、搜索),面向终端用户移动端(Android)和嵌入式。模型压缩、陆个人低精度数据存款和储蓄。

TensorFlow个性。高度灵活性(deep flexibility),数据流图(data flow
graph)数值总结,只须要创设图,书写总括内部循环,自定义上层库。真正可移植性(true
portability),CPU、GPU、台式机、服务器、移动端、云端服务器、Docker容器。产研结合(connect
research and
production),快速试验框架,新算法,操练模型。自动求微分(auto-differentiation),只须求定义预测模型结构、目的函数,添加多少。多语言援救(language
options),Python、C++、Java接口,C++完结中央,Jupyter
Notebook,特征映射(feature map),自定义别的语言接口。优化品质(maximize
performance),线程、队列、分布式总括帮衬,TensorFlow数据流图不相同总括成分分配差异装备,最大化利用硬件财富。

TensorFlow性格。中度灵活性(deep flexibility),数据流图(data flow
graph)数值总结,只须求构建图,书写计算内部循环,自定义上层库。真正可移植性(true
portability),CPU、GPU、台式机、服务器、移动端、云端服务器、Docker容器。生产研商结合(connect
research and
production),急速试验框架,新算法,陶冶模型。自动求微分(auto-differentiation),只须要定义预测模型结构、指标函数,添加多少。多语言扶助(language
options),Python、C++、Java接口,C++达成大旨,Jupyter
Notebook,特征映射(feature map),自定义其余语言接口。优化性能(maximize
performance),线程、队列、分布式总计帮忙,TensorFlow数据流图不一致总括成分分配差异装备,最大化利用硬件财富。

行使商店。谷歌(谷歌)、京东、索尼爱立信、Uber、eBay、Dropbox、Airbnb。

应用公司。谷歌、京东、OPPO、Uber、eBay、Dropbox、Airbnb。

二〇一四.4,0.8版帮助分布式、多GPU。二零一五.6,0.9版帮衬活动设备。2017.2,1.0版Java、Go实验API,专用编译器XLA、调节和测试工具Debugger,tf.transform数据预处理,动态图总计TensorFlow
Fold。

二〇一四.4,0.8版补助分布式、多GPU。二〇一四.6,0.9版帮衬移动设备。2017.2,1.0版Java、Go实验API,专用编写翻译器XLA、调节和测试工具Debugger,tf.transform数据预处理,动态图总计TensorFlow
Fold。

机器学习赛事。
ImageNet ILSV牧马人C(ImageNet Large Scale Visual Recognition
Challenge,大规模视觉识别挑衅赛),对象检查和测试、图像识别算法。2009年上马,最大图像识别数据库,1500万张有号子高分辨率图像数据集,2三千体系,比寒用一千体系各一千图像,120万磨炼图像,5万验证图像,15万测试图像。每年约请盛名IT公司测试图片分类种类。Top-1,预测输出可能率最高档次错误率。Top-5,预测输出可能率前五种类错误率。二零一五,CUImage指标检查和测试第②,商汤科学技术、香江中大;CUvideo录制物体格检查测子项目第1,商汤科学和技术、香岛中文大学;SenseCUSceneParsing场景分析第2,商汤科技(science and technology)、Hong Kong中大;Trimps-Soushen目的定位第③,公安分局三所NUIST摄像物体探测八个子项目第②,乔治敦音信工程高校;Hikvvision场景分类第②,海康威视;
Kaggel,二零一零年成立,数据发掘、数据解析推断比赛在线平台。集团出多少出钱,总计机地法学家、地工学家、数据地艺术学家领取职分,提供化解方案。3万到25万英镑奖励。
天池大数量竞技,Ali,穿衣配搭、微博互动预测、用户重复购买行为预测,赛题攻略。

机器学习赛事。
ImageNet ILSV昂CoraC(ImageNet Large Scale Visual Recognition
Challenge,大规模视觉识别挑衅赛),对象检查和测试、图像识别算法。二零零六年启幕,最大图像识别数据库,1500万张有号子高分辨率图像数据集,23000门类,比寒用1000种类各一千图像,120万陶冶图像,5万认证图像,15万测试图像。每年约请盛名IT公司测试图片分类种类。Top-1,预测输出可能率最高档次错误率。Top-5,预测输出可能率前五种类错误率。2014,CUImage目的检查和测试第①,商汤科学和技术、香港(Hong Kong)中大;CUvideo录像物体格检查测子项目第贰,商汤科学和技术、Hong Kong中管理高校;SenseCUSceneParsing场景分析第贰,商汤科学技术、香岛中大;Trimps-Soushen目的定位第壹,派出所三所NUIST录像物体探测三个子项目第三,Valencia消息工程大学;Hikvvision场景分类第3,海康威视;
Kaggel,二零一零年创设,数据发掘、数据解析推测比赛在线平台。公司出多少出钱,总结机地工学家、化学家、数据物文学家领取职责,提供化解方案。3万到25万韩元奖励。
天池大数额竞技,阿里,穿衣配搭、今日头条互动预测、用户重复购买行为预测,赛题攻略。

国老婆工智能公司。腾讯优图、Ali云ET、百度无人开车,搜狗、云从科学和技术、商汤科学和技术、昆仑万维、格灵深瞳。
陌上花科学和技术,衣+(dress+),图像识别、图像搜索、特体追踪检查和测试是、图片自动化标记、图像摄像智能分析、边看边买、人脸识别分析。旷视科学和技术,Face++,人脸识别精度,美颜,支付。中国科学技术大学讯飞,语音识别、语音合成、语言云、分词、词性标注、命名实体识别、依存句法分析、语义剧中人物标注。地平线,嵌入式。

国妻子工智能公司。腾讯优图、阿里云ET、百度无人驾车,搜狗、云从科学和技术、商汤科技(science and technology)、昆仑万维、格灵深瞳。
陌上花科学和技术,衣+(dress+),图像识别、图像搜索、特殊形体追踪检查和测试是、图片自动化标记、图像摄像智能分析、边看边买、人脸识别分析。旷视科学技术,Face++,人脸识别精度,美颜,支付。中国科学技术大学讯飞,语音识别、语音合成、语言云、分词、词性标注、命名实体识别、依存句法分析、语义剧中人物标注。地平线,嵌入式。

参考资料:
《TensorFlow技术解析与实战》

参考资料:
《TensorFlow技术解析与实战》

迎接付费咨询(150元每小时),笔者的微信:qingxingfengzi

欢迎付费咨询(150元每小时),作者的微信:qingxingfengzi