| 参数详情 | 说明 | 参数量 |
| name = bert/embeddings/word_embeddings:0, shape = (30522, 768) | 单词表每个单词向量长度是768，一共30522个单词 | 23440896 |
| name = bert/embeddings/token_type_embeddings:0, shape = (2, 768) | 对于输入的任务是两个句子的，需要两个768维度的向量表示是第一个句子还是第二个句子 | 1536 |
| name = bert/embeddings/position_embeddings:0, shape = (512, 768) | 每个位置的embedding向量的表示，每一个位置向量是768维 | 393216 |
| name = bert/embeddings/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/embeddings/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_0/attention/self/query/kernel:0, shape = (768, 768) | 这个是输入矩阵形状对应的query,正常是(768,12*64)所以最后变成了(768, 768) | 589824 |
| name = bert/encoder/layer_0/attention/self/query/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_0/attention/self/key/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的key，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_0/attention/self/key/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_0/attention/self/value/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的value，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_0/attention/self/value/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 589824 |
| name = bert/encoder/layer_0/attention/output/dense/kernel:0, shape = (768, 768) | 全连接第一层 768*768，全连接之后进行的残差连接 | 589824 |
| name = bert/encoder/layer_0/attention/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_0/attention/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_0/attention/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_0/intermediate/dense/kernel:0, shape = (768, 3072) | 全连接第二层是768*3072 | 2359296 |
| name = bert/encoder/layer_0/intermediate/dense/bias:0, shape = (3072,) | 全连接对应的bias | 3072 |
| name = bert/encoder/layer_0/output/dense/kernel:0, shape = (3072, 768) | 全连接第三层，将神经元的个数降低到768，好进行下一层的multi-head attention | 2359296 |
| name = bert/encoder/layer_0/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_0/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_0/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_1/attention/self/query/kernel:0, shape = (768, 768) | 这个是输入矩阵形状对应的query,正常是(768,12*64)所以最后变成了(768, 768) | 589824 |
| name = bert/encoder/layer_1/attention/self/query/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_1/attention/self/key/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的key，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_1/attention/self/key/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_1/attention/self/value/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的value，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_1/attention/self/value/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 589824 |
| name = bert/encoder/layer_1/attention/output/dense/kernel:0, shape = (768, 768) | 全连接第一层 768*768 | 589824 |
| name = bert/encoder/layer_1/attention/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_1/attention/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_1/attention/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_1/intermediate/dense/kernel:0, shape = (768, 3072) | 全连接第二层是768*3072 | 2359296 |
| name = bert/encoder/layer_1/intermediate/dense/bias:0, shape = (3072,) | 全连接对应的bias | 3072 |
| name = bert/encoder/layer_1/output/dense/kernel:0, shape = (3072, 768) | 全连接第三层，将神经元的个数降低到768，好进行下一层的multi-head attention | 2359296 |
| name = bert/encoder/layer_1/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_1/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_1/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_2/attention/self/query/kernel:0, shape = (768, 768) | 这个是输入矩阵形状对应的query,正常是(768,12*64)所以最后变成了(768, 768) | 589824 |
| name = bert/encoder/layer_2/attention/self/query/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_2/attention/self/key/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的key，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_2/attention/self/key/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_2/attention/self/value/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的value，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_2/attention/self/value/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 589824 |
| name = bert/encoder/layer_2/attention/output/dense/kernel:0, shape = (768, 768) | 全连接第一层 768*768 | 589824 |
| name = bert/encoder/layer_2/attention/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_2/attention/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_2/attention/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_2/intermediate/dense/kernel:0, shape = (768, 3072) | 全连接第二层是768*3072 | 2359296 |
| name = bert/encoder/layer_2/intermediate/dense/bias:0, shape = (3072,) | 全连接对应的bias | 3072 |
| name = bert/encoder/layer_2/output/dense/kernel:0, shape = (3072, 768) | 全连接第三层，将神经元的个数降低到768，好进行下一层的multi-head attention | 2359296 |
| name = bert/encoder/layer_2/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_2/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_2/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_3/attention/self/query/kernel:0, shape = (768, 768) | 这个是输入矩阵形状对应的query,正常是(768,12*64)所以最后变成了(768, 768) | 589824 |
| name = bert/encoder/layer_3/attention/self/query/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_3/attention/self/key/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的key，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_3/attention/self/key/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_3/attention/self/value/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的value，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_3/attention/self/value/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 589824 |
| name = bert/encoder/layer_3/attention/output/dense/kernel:0, shape = (768, 768) | 全连接第一层 768*768 | 589824 |
| name = bert/encoder/layer_3/attention/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_3/attention/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_3/attention/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_3/intermediate/dense/kernel:0, shape = (768, 3072) | 全连接第二层是768*3072 | 2359296 |
| name = bert/encoder/layer_3/intermediate/dense/bias:0, shape = (3072,) | 全连接对应的bias | 3072 |
| name = bert/encoder/layer_3/output/dense/kernel:0, shape = (3072, 768) | 全连接第三层，将神经元的个数降低到768，好进行下一层的multi-head attention | 2359296 |
| name = bert/encoder/layer_3/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_3/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_3/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_4/attention/self/query/kernel:0, shape = (768, 768) | 这个是输入矩阵形状对应的query,正常是(768,12*64)所以最后变成了(768, 768) | 589824 |
| name = bert/encoder/layer_4/attention/self/query/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_4/attention/self/key/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的key，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_4/attention/self/key/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_4/attention/self/value/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的value，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_4/attention/self/value/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 589824 |
| name = bert/encoder/layer_4/attention/output/dense/kernel:0, shape = (768, 768) | 全连接第一层 768*768 | 589824 |
| name = bert/encoder/layer_4/attention/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_4/attention/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_4/attention/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_4/intermediate/dense/kernel:0, shape = (768, 3072) | 全连接第二层是768*3072 | 2359296 |
| name = bert/encoder/layer_4/intermediate/dense/bias:0, shape = (3072,) | 全连接对应的bias | 3072 |
| name = bert/encoder/layer_4/output/dense/kernel:0, shape = (3072, 768) | 全连接第三层，将神经元的个数降低到768，好进行下一层的multi-head attention | 2359296 |
| name = bert/encoder/layer_4/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_4/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_4/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_5/attention/self/query/kernel:0, shape = (768, 768) | 这个是输入矩阵形状对应的query,正常是(768,12*64)所以最后变成了(768, 768) | 589824 |
| name = bert/encoder/layer_5/attention/self/query/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_5/attention/self/key/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的key，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_5/attention/self/key/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_5/attention/self/value/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的value，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_5/attention/self/value/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 589824 |
| name = bert/encoder/layer_5/attention/output/dense/kernel:0, shape = (768, 768) | 全连接第一层 768*768 | 589824 |
| name = bert/encoder/layer_5/attention/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_5/attention/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_5/attention/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_5/intermediate/dense/kernel:0, shape = (768, 3072) | 全连接第二层是768*3072 | 2359296 |
| name = bert/encoder/layer_5/intermediate/dense/bias:0, shape = (3072,) | 全连接对应的bias | 3072 |
| name = bert/encoder/layer_5/output/dense/kernel:0, shape = (3072, 768) | 全连接第三层，将神经元的个数降低到768，好进行下一层的multi-head attention | 2359296 |
| name = bert/encoder/layer_5/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_5/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_5/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_6/attention/self/query/kernel:0, shape = (768, 768) | 这个是输入矩阵形状对应的query,正常是(768,12*64)所以最后变成了(768, 768) | 589824 |
| name = bert/encoder/layer_6/attention/self/query/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_6/attention/self/key/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的key，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_6/attention/self/key/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_6/attention/self/value/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的value，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_6/attention/self/value/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 589824 |
| name = bert/encoder/layer_6/attention/output/dense/kernel:0, shape = (768, 768) | 全连接第一层 768*768 | 589824 |
| name = bert/encoder/layer_6/attention/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_6/attention/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_6/attention/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_6/intermediate/dense/kernel:0, shape = (768, 3072) | 全连接第二层是768*3072 | 2359296 |
| name = bert/encoder/layer_6/intermediate/dense/bias:0, shape = (3072,) | 全连接对应的bias | 3072 |
| name = bert/encoder/layer_6/output/dense/kernel:0, shape = (3072, 768) | 全连接第三层，将神经元的个数降低到768，好进行下一层的multi-head attention | 2359296 |
| name = bert/encoder/layer_6/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_6/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_6/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_7/attention/self/query/kernel:0, shape = (768, 768) | 这个是输入矩阵形状对应的query,正常是(768,12*64)所以最后变成了(768, 768) | 589824 |
| name = bert/encoder/layer_7/attention/self/query/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_7/attention/self/key/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的key，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_7/attention/self/key/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_7/attention/self/value/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的value，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_7/attention/self/value/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 589824 |
| name = bert/encoder/layer_7/attention/output/dense/kernel:0, shape = (768, 768) | 全连接第一层 768*768 | 589824 |
| name = bert/encoder/layer_7/attention/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_7/attention/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_7/attention/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_7/intermediate/dense/kernel:0, shape = (768, 3072) | 全连接第二层是768*3072 | 2359296 |
| name = bert/encoder/layer_7/intermediate/dense/bias:0, shape = (3072,) | 全连接对应的bias | 3072 |
| name = bert/encoder/layer_7/output/dense/kernel:0, shape = (3072, 768) | 全连接第三层，将神经元的个数降低到768，好进行下一层的multi-head attention | 2359296 |
| name = bert/encoder/layer_7/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_7/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_7/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_8/attention/self/query/kernel:0, shape = (768, 768) | 这个是输入矩阵形状对应的query,正常是(768,12*64)所以最后变成了(768, 768) | 589824 |
| name = bert/encoder/layer_8/attention/self/query/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_8/attention/self/key/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的key，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_8/attention/self/key/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_8/attention/self/value/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的value，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_8/attention/self/value/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 589824 |
| name = bert/encoder/layer_8/attention/output/dense/kernel:0, shape = (768, 768) | 全连接第一层 768*768 | 589824 |
| name = bert/encoder/layer_8/attention/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_8/attention/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_8/attention/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_8/intermediate/dense/kernel:0, shape = (768, 3072) | 全连接第二层是768*3072 | 2359296 |
| name = bert/encoder/layer_8/intermediate/dense/bias:0, shape = (3072,) | 全连接对应的bias | 3072 |
| name = bert/encoder/layer_8/output/dense/kernel:0, shape = (3072, 768) | 全连接第三层，将神经元的个数降低到768，好进行下一层的multi-head attention | 2359296 |
| name = bert/encoder/layer_8/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_8/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_8/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_9/attention/self/query/kernel:0, shape = (768, 768) | 这个是输入矩阵形状对应的query,正常是(768,12*64)所以最后变成了(768, 768) | 589824 |
| name = bert/encoder/layer_9/attention/self/query/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_9/attention/self/key/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的key，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_9/attention/self/key/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_9/attention/self/value/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的value，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_9/attention/self/value/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 589824 |
| name = bert/encoder/layer_9/attention/output/dense/kernel:0, shape = (768, 768) | 全连接第一层 768*768 | 589824 |
| name = bert/encoder/layer_9/attention/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_9/attention/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_9/attention/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_9/intermediate/dense/kernel:0, shape = (768, 3072) | 全连接第二层是768*3072 | 2359296 |
| name = bert/encoder/layer_9/intermediate/dense/bias:0, shape = (3072,) | 全连接对应的bias | 3072 |
| name = bert/encoder/layer_9/output/dense/kernel:0, shape = (3072, 768) | 全连接第三层，将神经元的个数降低到768，好进行下一层的multi-head attention | 2359296 |
| name = bert/encoder/layer_9/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_9/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_9/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_10/attention/self/query/kernel:0, shape = (768, 768) | 这个是输入矩阵形状对应的query,正常是(768,12*64)所以最后变成了(768, 768) | 589824 |
| name = bert/encoder/layer_10/attention/self/query/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_10/attention/self/key/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的key，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_10/attention/self/key/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_10/attention/self/value/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的value，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_10/attention/self/value/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 589824 |
| name = bert/encoder/layer_10/attention/output/dense/kernel:0, shape = (768, 768) | 全连接第一层 768*768 | 589824 |
| name = bert/encoder/layer_10/attention/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_10/attention/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_10/attention/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_10/intermediate/dense/kernel:0, shape = (768, 3072) | 全连接第二层是768*3072 | 2359296 |
| name = bert/encoder/layer_10/intermediate/dense/bias:0, shape = (3072,) | 全连接对应的bias | 3072 |
| name = bert/encoder/layer_10/output/dense/kernel:0, shape = (3072, 768) | 全连接第三层，将神经元的个数降低到768，好进行下一层的multi-head attention | 2359296 |
| name = bert/encoder/layer_10/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_10/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_10/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_11/attention/self/query/kernel:0, shape = (768, 768) | 这个是输入矩阵形状对应的query,正常是(768,12*64)所以最后变成了(768, 768) | 589824 |
| name = bert/encoder/layer_11/attention/self/query/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_11/attention/self/key/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的key，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_11/attention/self/key/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 768 |
| name = bert/encoder/layer_11/attention/self/value/kernel:0, shape = (768, 768) | 这个是输出矩阵形状对应的value，因为是self-attention,所以输出与输入的形状是相同的，所以也是(768, 12*64) | 589824 |
| name = bert/encoder/layer_11/attention/self/value/bias:0, shape = (768,) | 因为上面后者是12*64=768，所以最后是768维度的向量 | 589824 |
| name = bert/encoder/layer_11/attention/output/dense/kernel:0, shape = (768, 768) | 全连接第一层 768*768 | 589824 |
| name = bert/encoder/layer_11/attention/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_11/attention/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_11/attention/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_11/intermediate/dense/kernel:0, shape = (768, 3072) | 全连接第二层是768*3072 | 2359296 |
| name = bert/encoder/layer_11/intermediate/dense/bias:0, shape = (3072,) | 全连接对应的bias | 3072 |
| name = bert/encoder/layer_11/output/dense/kernel:0, shape = (3072, 768) | 全连接第三层，将神经元的个数降低到768，好进行下一层的multi-head attention | 2359296 |
| name = bert/encoder/layer_11/output/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = bert/encoder/layer_11/output/LayerNorm/beta:0, shape = (768,) | LayerNorm beta参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/encoder/layer_11/output/LayerNorm/gamma:0, shape = (768,) | LayerNorm gamma参数，因为单词向量表示是768维，所以是768个 | 768 |
| name = bert/pooler/dense/kernel:0, shape = (768, 768) | 因为该任务是判断两个句子是否是一个含义的任务，使用[CLS]向量，先进行一层全连接 | 589824 |
| name = bert/pooler/dense/bias:0, shape = (768,) | 全连接对应的bias | 768 |
| name = output_weights:0, shape = (2, 768) | 因为是二分类任务，所以需要将向量的维度降低到2 | 1536 |
| name = output_bias:0, shape = (2,) | 全连接对应的bias | 2 |
| | 116552450 |