谷歌神经网络模型(谷歌nlp)

小茶起源于奥菲寺。

量子比特制作|微信官方账号QbitAI

今天，Google推出了一个新的开源框架，——神经结构学习(Neural Structure Learning，NSL)，使用神经图学习方法，用图和结构化数据训练神经网络，可以带来更强大的模型。

现在，可以通过TensorFlow获取和使用。

NSL有什么用？过去，我们使用单独的图片来训练计算机视觉神经网络。这些训练样本是相互隔离的，但是它们包含了丰富的关系信息。

如果利用这些数据的结构信息，可以达到更高的模型精度，或者用更少的样本训练模型，特别是在标记样本数量相对较少的情况下。

此外，NSL还可以用来抵抗对抗攻击，因为对抗样本往往是对原始样本的扰动，利用这种关系可以提高模型在对抗攻击下的鲁棒性。

谷歌表示，这项NSL技术是通用的，可以应用于任何神经架构，包括前馈神经网络、CNN和RNN。NSL可以是计算机视觉模型和NLP训练模型，可以在病历或知识图谱等图形数据集上进行预测。

谷歌已经在研究中使用了这项技术。在今年2月发表的一篇关于学习图像语义嵌入的文章中，谷歌用它来提高模型的准确性。

NSL原则

NSL使用训练样本之间的结构化信号，通常用于指示标记和未标记样本之间的关系或相似性。

这种结构化的信号有时以图形的形式明确地包含在数据集中，有时则是人工构建的。通过上述扰动产生抗攻击样本是表达结构化信号的隐含方式。

如何在神经网络中包含结构化信号？2018年，在谷歌提交的一篇关于“神经图学习”的论文中，构建了一个考虑数据结构之间关系的损失函数。

该损失函数不仅包括常规的监督学习损失项，还引入了最近邻损失，如下图所示。通过在训练中最小化后一项，来自相同结构的输入之间的相似性得以保持。

施用方式

要在TensorFlow中使用NSL，您需要首先安装虚拟环境。设置虚拟环境后，用pip安装它：

pip install-upgrade neural _ structured _ learning使用NSL，让我们用结构化信号建立模型变得简单直接。对于给定的图(显式结构)和训练样本，

NSL提供了一个工具来处理这些样本，并将它们合并到TFRecords中，用于下一次训练：

python pack _ nbrs。py-max _ nbrs=5 \ labelled _ data。TFR \ un标记_数据。TFR \图表。tsv \已合并_示例。TFR对于用图表示的结构信号的数据，

将神经结构化学习作为nsl#导入创建自定义模型—顺序模型、函数模型或子类模型. base _ model=TF。喀拉斯。顺序(…)#用图正则化包装自定义模型graph _ config=nsl。配置。graphregconfig(neighbor _ config=nsl。配置。graphneighborhoodconfig(max _ neighbors=1))graph _ model=nsl。喀拉斯。图形规则性(基本模型，图形配置)#编译、训练和评估. graph _ model。编译(optimizer=' Adam 'loss=TF。喀拉斯。损失。sparsecategoricalcrossentropy()，metrics=[' accuracy '])graph _ model。拟合(train _ dataset，epochs=5)图形_模型。评估(测试数据集)这种方法可以使用较少标记的数据进行训练，

然而，大多数数据没有图形作为明确的结构信号。这种情况下我们该怎么办？谷歌在NSL提供从原始数据构建图形的工具，NSL通过API构建对抗样本作为隐含的结构信号。

将神经结构化学习作为nsl#导入创建一个基本模型—顺序模型、函数模型或子类模型. model=tf.keras.Sequential(…)#用对抗性正则化包装模型adv _ config=nsl。配置。make _ adv _ reg _ config(乘数=0.2，adv _ step _ size=0.05)adv _ model=nsl。喀拉斯。对抗性正则化(模型，高级配置)#编译、训练和评估adv _ model。编译(optimizer=' Adam 'loss=' sparse _ category _ cross entropy 'metrics=[' accuracy '])adv _ model。fit({ ' feature 'x _ train，' label' y_train}，epochs=5)高级模型。评估({ ' feature 'x _ test，' label' y_test})同样添加代码不超过5行！这种通过微扰添加对抗样本的训练模型，

。。

TensorFlow介绍页面：

https://www.tensorflow.org/neural_structured_learning/

代码地址：

https://github.com/tensorflow/neural-structured-learning

— 完—

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位QbitAI 头条号签约作者

'' 追踪AI技术和产品新动态