问题描述
我在用Keras的Embedding层做nlp相关的实现时,发现了一个神奇的问题,先上代码:
a = Input(shape=[15]) # None*15 b = Input(shape=[30]) # None*30 emb_a = Embedding(10, 5, mask_zero=True)(a) # None*15*5 emb_b = Embedding(20, 5, mask_zero=False)(b) # None*30*5 cat = Concatenate(axis=1)([emb_a, emb_b]) # None*45*5 model = Model(inputs=[a, b], outputs=[cat]) print model.summary()
我有两个Embedding层,当其中一个设置mask_zero=True,而另一个为False时,会报如下错误。
ValueError: Dimension 0 in both shapes must be equal, but are 1 and 5.
Shapes are [1] and [5]. for 'concatenate_1/concat_1' (op: 'ConcatV2')
with input shapes: ["htmlcode">a = Input(shape=[30]) ... cat = Concatenate(axis=2)([emb_a, emb_b])运行成功了,并且summary显示两个Embedding层输出矩阵的第三维都是5。
这就很奇怪了,明明没有改变维度,为什么会报那样的错误?
然后我仔细追溯了一下前面的各项error,发现这么一句:
File ".../keras/layers/merge.py", line 374, in compute_mask
concatenated = K.concatenate(masks, axis=self.axis)难道是mask的拼接有问题?
于是我修改了/keras/layers/merge.py里的Concatenate类的compute_mask函数(sudo vim就可以修改),在返回前输出一下masks:
def compute_mask(self, inputs, mask=None): ... for x in masks: print x return ...Tensor("concatenate_1/ExpandDims:0", shape=("concatenate_1/Cast:0", shape=("htmlcode">
... elif K.ndim(mask_i) < K.ndim(input_i): # Mask is smaller than the input, expand it masks.append(K.expand_dims(mask_i)) ...意思是当mask_i的维度比input_i的维度小时,扩展一维,这下知道第三维的1是怎么来的了,那么可以预计compute_mask函数输入的mask尺寸应该是(None, 30),输出一下试试:
def compute_mask(self, inputs, mask=None): print mask ...[<tf.Tensor 'embedding_1/NotEqual:0' shape=("htmlcode">
def compute_mask(self, inputs, mask=None): if not self.mask_zero: return None else: return K.not_equal(inputs, 0)可见,Embedding层的mask是记录了Embedding输入中非零元素的位置,并且传给后面的支持masking的层,在后面的层里起作用。
一种最简单的解决方案:
给所有参与Concatenate的Embedding层都设置mask_zero=True。
但是,我想到了一种更灵活的解决方案:
修改embedding.py的compute_mask函数,使得输出的mask从2维变成3维,且第三维等于output_dim。
import tensorflow as tf ... def compute_mask(self, inputs, mask=None): if not self.mask_zero: return None else: mask = K.repeat(K.not_equal(inputs, 0), self.output_dim) # ["color: #ff00ff">实验一:mask的正确性我把输出的mask做了改动,不知道mask是否是正确的。
如下所示,数据是一个带有3个样本、样本长度最长为3的补零padding过的矩阵,我分别让Embedding层的mask_zero为False和True(为True时input_dim=|va|+2所以是5)。然后分别将Embedding的输出在axis=1用MySumLayer进行求和。为了方便观察,我用keras.initializers.ones()把Embedding层的权值全部初始化为1。
# data data = np.array([[1,0,0], [1,2,0], [1,2,3]]) init = keras.initializers.ones() # network a = Input(shape=[3]) # None*3 emb1 = Embedding(4, 5, embeddings_initializer=init, mask_zero=False)(a) # None*3*5 emb2 = Embedding(5, 5, embeddings_initializer=init, mask_zero=True)(a) # None*3*5 sum1 = MySumLayer(axis=1)(emb1) # None*5 sum2 = MySumLayer(axis=1)(emb2) # None*5 model = Model(inputs=[a], outputs=[sum1, sum2]) # prediciton out = model.predict(data) for x in out: print x结果如下:
[[3. 3. 3. 3. 3.] [3. 3. 3. 3. 3.] [3. 3. 3. 3. 3.]] [[1. 1. 1. 1. 1.] [2. 2. 2. 2. 2.] [3. 3. 3. 3. 3.]]这个结果是正确的,这里解释一波:
(1)当mask_True=False时,输入矩阵中的0也会被认为是正确的index,从而从权值矩阵中抽出第0行作为该index的Embedding,而我的权值都是1,因此所有Embedding都是1,对axis=1求和,实际上是对word length这一轴求和,输入的word length最长为3,以致于输出矩阵的元素都是3.
(2)当mask_True=True时,输入矩阵中的0会被mask掉,而这个mask的操作是体现在MySumLayer中的,将输入(3, 3, 5)与mask(3, 3, 5)逐元素相乘,再相加。第一个样本只有一项非零,第二个有两项,第三个三项,因此MySumLayer输出的矩阵,各行元素分别是1,2,3.
另外附上MySumLayer的代码,它的功能是指定一个axis将Tensor进行求和:
from keras import backend as K from keras.engine.topology import Layer import tensorflow as tf class MySumLayer(Layer): def __init__(self, axis, **kwargs): self.supports_masking = True self.axis = axis super(MySumLayer, self).__init__(**kwargs) def compute_mask(self, input, input_mask=None): # do not pass the mask to the next layers return None def call(self, x, mask=None): if mask is not None: # mask (batch, time) mask = K.cast(mask, K.floatx()) if K.ndim(x)!=K.ndim(mask): mask = K.repeat(mask, x.shape[-1]) mask = tf.transpose(mask, [0,2,1]) x = x * mask return K.sum(x, axis=self.axis) else: return K.sum(x, axis=self.axis) def compute_output_shape(self, input_shape): # remove temporal dimension if self.axis==1: return input_shape[0], input_shape[2] if self.axis==2: return input_shape[0], input_shape[1]实验二:一个mask_zero=True和一个mask_zero=False的Embedding是否能够拼接
a = Input(shape=[3]) # None*3 b = Input(shape=[4]) # None*4 emba = Embedding(4, 5, embeddings_initializer=init, mask_zero=False)(a) # None*3*5 embb = Embedding(6, 5, embeddings_initializer=init, mask_zero=True)(b) # None*4*5 cat = Concatenate(axis=1)([emba, embb]) # None*7*5 model = Model(inputs=[a,b], outputs=[cat]) print model.summary()没有报错!而且输出的shape正是(None, 7, 5)。
实验三:两个mask_zero=True的Embedding拼接是否会报错
a = Input(shape=[3]) # None*3 b = Input(shape=[4]) # None*4 emba = Embedding(4, 5, embeddings_initializer=init, mask_zero=True)(a) # None*3*5 embb = Embedding(6, 5, embeddings_initializer=init, mask_zero=True)(b) # None*4*5 cat = Concatenate(axis=1)([emba, embb]) # None*7*5 model = Model(inputs=[a,b], outputs=[cat]) print model.summary()没有报错!
实验四:两个mask_zero=True的Embedding拼接结果是否正确
如下所示,第一个矩阵是一个带有4个样本、样本长度最长为3的补零padding过的矩阵,第二个矩阵是一个带有4个样本、样本长度最长为4的补零padding过的矩阵。为什么这里要求样本个数一致呢,因为一般来说需要这种拼接操作的都是同一批样本的不同特征。两者的Embedding都设置mask_zero=True,在axis=1拼接后,用MySumLayer在axis=1加起来。
# data data1 = np.array([[1,0,0], [1,2,0], [1,2,3], [1,2,3]]) data2 = np.array([[1,0,0,0], [1,2,0,0], [1,2,3,0], [1,2,3,4]]) init = keras.initializers.ones() # network a = Input(shape=[3]) # None*3 b = Input(shape=[4]) # None*4 emba = Embedding(4, 5, embeddings_initializer=init, mask_zero=True)(a) # None*3*5 embb = Embedding(6, 5, embeddings_initializer=init, mask_zero=True)(b) # None*3*5 cat = Concatenate(axis=1)([emba, embb]) su = MySumLayer(axis=1)(cat) model = Model(inputs=[a,b], outputs=[su]) # prediction print model.predict([data1, data2])输出如下
[[2. 2. 2. 2. 2.] [4. 4. 4. 4. 4.] [6. 6. 6. 6. 6.] [7. 7. 7. 7. 7.]]这个结果是正确的,解释一波,其实两个矩阵横向拼接起来是下面这样的,4个样本分别有2、4、6、7个非零index,而Embedding层权值都是1,所以最终输出的就是上面这个样子。
# index 1 0 0 1 0 0 0 1 2 0 1 2 0 0 1 2 3 1 2 3 0 1 2 3 1 2 3 4至此,问题成功解决了。
以上这篇解决Keras中Embedding层masking与Concatenate层不可调和的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
P70系列延期,华为新旗舰将在下月发布
3月20日消息,近期博主@数码闲聊站 透露,原定三月份发布的华为新旗舰P70系列延期发布,预计4月份上市。
而博主@定焦数码 爆料,华为的P70系列在定位上已经超过了Mate60,成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢?
根据目前爆料的消息来看,华为P70系列将推出三个版本,其中P70和P70 Pro采用了三角形的摄像头模组设计,而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智,但辨识度绝对拉满。
更新日志
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果(九)》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]