怎样用c++去使用hdf5模型文件做预测?

回复

TF开发使用tear123 发起了问题 • 2 人关注 • 0 个回复 • 114 次浏览 • 2017-09-30 15:48 • 来自相关话题

Tensorflow能不能在AMD显卡上运行?

回复

框架安装配置alex68 回复了问题 • 1 人关注 • 1 个回复 • 344 次浏览 • 2017-09-10 13:00 • 来自相关话题

训练和测试阶段batchsize不一致怎么办?

回复

TF开发使用tensorflow 回复了问题 • 1 人关注 • 1 个回复 • 77 次浏览 • 2017-09-06 22:53 • 来自相关话题

如何reshape一个tf.Variable?

TF开发使用tensorflow 回复了问题 • 2 人关注 • 1 个回复 • 78 次浏览 • 2017-09-06 22:51 • 来自相关话题

tf.variable与tf.get_variable有什么区别?

回复

TF开发使用匿名用户 回复了问题 • 1 人关注 • 1 个回复 • 99 次浏览 • 2017-09-07 11:18 • 来自相关话题

请问如何在声明tensor的时候就指定初始化方法?

源码解析alex68 回复了问题 • 2 人关注 • 1 个回复 • 60 次浏览 • 2017-09-04 18:03 • 来自相关话题

tf.layers.conv2d默认的kenel初始化方法是什么?

源码解析tensorflow 回复了问题 • 2 人关注 • 1 个回复 • 74 次浏览 • 2017-09-04 17:52 • 来自相关话题

如何用一个tensor给另一个tensor赋值?

TF开发使用tensorflow 回复了问题 • 2 人关注 • 1 个回复 • 326 次浏览 • 2017-09-04 17:49 • 来自相关话题

session.run里面可以用tensor赋值吗?

TF开发使用tensorflow 回复了问题 • 2 人关注 • 1 个回复 • 78 次浏览 • 2017-09-03 15:28 • 来自相关话题

Tensorflow中的机器学习数据预处理模块tf.Transform

综合问题tensorflow 发表了文章 • 0 个评论 • 189 次浏览 • 2017-08-09 12:58 • 来自相关话题

 
原文: https://research.googleblog.com/2017/02/preprocessing-for-machine-learning-with.html
 
当我们将机器学习技术应用到真实世界的数据集时,我们需要进行大量的工作来将数据预处理成适合标准机器学习模型(比如神经网络)的格式。这种预处理可能包含多种形式,从转换格式到标记和组织文本和形成词汇表,都需要执行各种数值操作,比如归一化。

今天我们宣布tf.Transform,一个用于TensorFlow的库。它允许用户定义预处理流程,并使用大型数据处理框架运行这些流程,同时还可以以一种作为TensorFlow图的一部分运行的方式导出流程。用户通过组成模块化的Python函数来定义管道。然后tf.Transform用Apache Beam执行转换,这是一个大规模、高效、分布式数据处理框架。Apache Beam管道可以在谷歌云数据流上运行,并计划支持其他框架的运行。由tf.Transform导出的TensorFlow图使得预处理步骤可以复制,尤其是当训练的模型用于做预测时,例如作为Tensorflow Serving的服务模块。

在生产中运行机器学习模型时遇到的一个常见问题是“训练服务倾斜(training-serving skew)”,在服务时间上看到的数据在某种程度上与训练模型的数据不同,从而降低了预测质量。相比于在两个不同的环境(分别是Apache Beam和TensorFlow)中进行预处理,tf.Transform通过保证服务运行时与在训练运行时的转换完全相同,从而确保在预处理过程中不会出现任何倾斜。

除了便于预处理,tf.Transform允许用户计算其数据集的汇总统计数据。在每一个机器学习项目中,理解数据都是非常重要的,因为对于底层数据的错误假设可能会产生一些细微的错误。通过简单、高效的计算汇总统计数据。tf.Transform允许用户检查他们对原始数据和预处理数据的假设。
 





tf.Transform允许用户定义预处理流程。用户可以具体指定预处理流程,用于在TensorFlow训练过程中使用,也可以导出一个tf.Transform图并转换编码为一个TensorFlow图。然后将这个转换图合并到用于推理的模型图中。
 
我们很高兴能够发布最新的TensorFlow生态系统,我们希望它对使用者在进行数据预处理和理解他们的数据方面有帮助。

我们要感谢以下各部队成员。他们为这个项目做出了贡献:Clemens Mewald,Robert Bradshaw,Rajiv Bharadwaja,Elmer Garduno,Afshin Rostamizadeh,Neoklis Polyzotis,Abhi Rao,Joe Toth,Neda Mirian,Dinesh Kulkarni,Robbie Haertel,Cyril Bortolato和Slaven Bilac。我们也要感谢TensorFlow,TensorFlow服务和Cloud Dataflow团队的支持。
 
翻译:CaffeCN社区 (未经授权,不可转载)
 
  查看全部
 
原文: https://research.googleblog.com/2017/02/preprocessing-for-machine-learning-with.html
 
当我们将机器学习技术应用到真实世界的数据集时,我们需要进行大量的工作来将数据预处理成适合标准机器学习模型(比如神经网络)的格式。这种预处理可能包含多种形式,从转换格式到标记和组织文本和形成词汇表,都需要执行各种数值操作,比如归一化。

今天我们宣布tf.Transform,一个用于TensorFlow的库。它允许用户定义预处理流程,并使用大型数据处理框架运行这些流程,同时还可以以一种作为TensorFlow图的一部分运行的方式导出流程。用户通过组成模块化的Python函数来定义管道。然后tf.Transform用Apache Beam执行转换,这是一个大规模、高效、分布式数据处理框架。Apache Beam管道可以在谷歌云数据流上运行,并计划支持其他框架的运行。由tf.Transform导出的TensorFlow图使得预处理步骤可以复制,尤其是当训练的模型用于做预测时,例如作为Tensorflow Serving的服务模块。

在生产中运行机器学习模型时遇到的一个常见问题是“训练服务倾斜(training-serving skew)”,在服务时间上看到的数据在某种程度上与训练模型的数据不同,从而降低了预测质量。相比于在两个不同的环境(分别是Apache Beam和TensorFlow)中进行预处理,tf.Transform通过保证服务运行时与在训练运行时的转换完全相同,从而确保在预处理过程中不会出现任何倾斜。

除了便于预处理,tf.Transform允许用户计算其数据集的汇总统计数据。在每一个机器学习项目中,理解数据都是非常重要的,因为对于底层数据的错误假设可能会产生一些细微的错误。通过简单、高效的计算汇总统计数据。tf.Transform允许用户检查他们对原始数据和预处理数据的假设。
 

TFT_for_Research_Blog_Post.jpg

tf.Transform允许用户定义预处理流程。用户可以具体指定预处理流程,用于在TensorFlow训练过程中使用,也可以导出一个tf.Transform图并转换编码为一个TensorFlow图。然后将这个转换图合并到用于推理的模型图中。


 
我们很高兴能够发布最新的TensorFlow生态系统,我们希望它对使用者在进行数据预处理和理解他们的数据方面有帮助。

我们要感谢以下各部队成员。他们为这个项目做出了贡献:Clemens Mewald,Robert Bradshaw,Rajiv Bharadwaja,Elmer Garduno,Afshin Rostamizadeh,Neoklis Polyzotis,Abhi Rao,Joe Toth,Neda Mirian,Dinesh Kulkarni,Robbie Haertel,Cyril Bortolato和Slaven Bilac。我们也要感谢TensorFlow,TensorFlow服务和Cloud Dataflow团队的支持。
 
翻译:CaffeCN社区 (未经授权,不可转载)
 
 

如何用Tensorflow实现一个生成式对抗模型GAN?

综合问题tensorflow 回复了问题 • 2 人关注 • 1 个回复 • 86 次浏览 • 2017-08-13 16:08 • 来自相关话题

如何在64核的CPU上高效的使用Tensorflow?

综合问题tensorflow 回复了问题 • 3 人关注 • 1 个回复 • 92 次浏览 • 2017-08-09 00:35 • 来自相关话题

TensorFlow Serving 1.0 正式发布

综合问题tensorflow 发表了文章 • 0 个评论 • 95 次浏览 • 2017-08-08 12:32 • 来自相关话题

 
源: https://developers.googleblog. ... .html
 
自2016年2月我们的首次公开源码发布以来,我们已经走过了很长一段路。TensorFlow服务是一款面向机器学习的高性能服务系统,为生产环境设计。今天,我们很高兴地宣布TensorFlow服务1.0的发布。版本1.0是由TensorFlow的头构建的,我们的未来版本将是与TensorFlow版本相一致的版本。
 
当我们第一次宣布这个项目时,它是一组提供核心功能的库,用于管理模型的生命周期并提供推论请求。稍后,我们介绍了一个带有预测API的gRPC模型服务器二进制文件,以及如何在Kubernetes上部署它的示例。从那时起,我们努力扩展其功能以适应不同的用例,并稳定API以满足用户的需求。今天,在Google内部有超过800个项目使用TensorFlow在生产中使用。我们已经对服务器和API进行了测试,并将其聚合在一个稳定、健壮、高性能的实现上。

我们已经听取了开源社区的建议,并且很高兴能够通过apt-get安装提供预构建的二进制文件。现在,为了开始使用TensorFlow服务,您可以简单地安装和运行,而无需花费时间编译。与往常一样,Docker容器仍然可以用于在非linux系统上安装服务器二进制文件。

在这个版本中,TensorFlow服务也正式弃用,停止对遗留的SessionBundle模型格式的支持。SavedModel,TensorFlow的模型格式是TensorFlow 1.0的一部分,现在是官方支持的格式。

为了开始,请查看项目的文档和我们的教程。享受1.0 TensorFlow服务!
 
  查看全部
 
源: https://developers.googleblog. ... .html
 
自2016年2月我们的首次公开源码发布以来,我们已经走过了很长一段路。TensorFlow服务是一款面向机器学习的高性能服务系统,为生产环境设计。今天,我们很高兴地宣布TensorFlow服务1.0的发布。版本1.0是由TensorFlow的头构建的,我们的未来版本将是与TensorFlow版本相一致的版本。
 
当我们第一次宣布这个项目时,它是一组提供核心功能的库,用于管理模型的生命周期并提供推论请求。稍后,我们介绍了一个带有预测API的gRPC模型服务器二进制文件,以及如何在Kubernetes上部署它的示例。从那时起,我们努力扩展其功能以适应不同的用例,并稳定API以满足用户的需求。今天,在Google内部有超过800个项目使用TensorFlow在生产中使用。我们已经对服务器和API进行了测试,并将其聚合在一个稳定、健壮、高性能的实现上。

我们已经听取了开源社区的建议,并且很高兴能够通过apt-get安装提供预构建的二进制文件。现在,为了开始使用TensorFlow服务,您可以简单地安装和运行,而无需花费时间编译。与往常一样,Docker容器仍然可以用于在非linux系统上安装服务器二进制文件。

在这个版本中,TensorFlow服务也正式弃用,停止对遗留的SessionBundle模型格式的支持。SavedModel,TensorFlow的模型格式是TensorFlow 1.0的一部分,现在是官方支持的格式。

为了开始,请查看项目的文档和我们的教程。享受1.0 TensorFlow服务!
 
 

如何把tfrecord中的数据打乱?

回复

TF开发使用匿名用户 发起了问题 • 1 人关注 • 0 个回复 • 89 次浏览 • 2017-08-07 23:09 • 来自相关话题

如何调用一个训练完的tensorflow模型?

回复

框架开发使用匿名用户 回复了问题 • 1 人关注 • 1 个回复 • 106 次浏览 • 2017-08-07 23:04 • 来自相关话题

请问有没有Caffe模型转Tensorflow的方法?

TF开发使用caffe 回复了问题 • 2 人关注 • 1 个回复 • 144 次浏览 • 2017-08-07 14:21 • 来自相关话题

tensorflow里面有没有特征可视化的功能?

回复

TF开发使用alex68 发起了问题 • 1 人关注 • 0 个回复 • 149 次浏览 • 2017-08-07 12:48 • 来自相关话题