详解基于Transformer实现电影评论星级分类任务

 更新时间:2023年04月24日 11:09:43   作者:实力  
这篇文章主要为大家介绍了详解基于Transformer实现电影评论星级分类任务过程解析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

Transformer模型概述

Transformer是一种用于序列到序列学习的神经网络架构,专门用于处理输入和输出序列之间的依赖关系。该模型被广泛应用于机器翻译、音频转录、语言生成等多个自然语言处理领域。

Transformer基于attention机制来实现序列到序列的学习。 在RNN(循环神经网络)中,网络必须按顺序遍历每个单词,并在每个时间步计算隐层表示。 这样,在长段文本中,信息可能会从网络的起点传递到终点,这导致了难以捕捉远距离依赖关系的问题。而attention机制可以根据输入序列中的词与其它所有词的相关性分配不同的权重,从而突破了序列到序列中的局限。

具体来说,一个Transformer模型由编码器(encoder)和解码器(decoder)两部分组成。编码器用于接收输入序列,解码器用于生成输出序列。每个编码器和解码器均包含多头attention机制、前馈网络以及残差连接等组件。

在一个典型的Transformer模型中,首先将输入序列通过嵌入层进行向量化,然后将向量表示作为Transformer的第一层输入。处理完输入向量之后,下一层就是多头attention层,其中每个头(head)都可以计算出不同的注意力权重向量(也称为attention mask)。最后,利用残差连接和skip connection机制使transformer更易于训练。

数据集准备

在此任务中,我们将使用来自IMDB的电影评论数据集,该数据集包含50,000条有标签的电影评论,每个评论标记为正面或负面情感。 其中25,000个用于训练,另外25,000个用于测试。

由于Transformer是对token进行操作,所以我们需要对文本的每个单词进行编码。一种常用的方法是使用Bert Tokenizer。GPT-2等预训练模型会使用特定的tokenizer。选择最新版本的transformers包可以快速实现这些操作:

!pip install transformers

接着加载tokenizer:

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')

上述操作将下载并加载适用于bert的tokenizer。 下一步是读取IMDB数据集的内容。 在本文中,我们将使用此处的已处理好的CSV形式数据:drive.google.com/file/d/1b_b…

import pandas as pd
train_df = pd.read_csv('imdb_train.csv')
test_df = pd.read_csv('imdb_test.csv')

由于Transformer模型需要固定长度的输入序列,我们选择了max_length为100并对所有评论进行padding操作:

train_inputs = tokenizer(list(train_df['review']), padding=True, truncation=True, max_length=100)
test_inputs = tokenizer(list(test_df['review']), padding=True, truncation=True, max_length=100)

现在我们可以将输入和标签分别转换成torch Tensor类型:

import torch
train_labels = torch.tensor(list(train_df['sentiment'].replace({'pos': 1, 'neg':0})))
test_labels = torch.tensor(list(test_df['sentiment'].replace({'pos': 1, 'neg':0})))

train_encoded_dict = {
    'input_ids': torch.tensor(train_inputs['input_ids']),
    'token_type_ids': torch.tensor(train_inputs['token_type_ids']),
    'attention_mask': torch.tensor(train_inputs['attention_mask']),
    'labels': train_labels
}

test_encoded_dict = {
    'input_ids': torch.tensor(test_inputs['input_ids']),
    'token_type_ids': torch.tensor(test_inputs['token_type_ids']),
    'attention_mask': torch.tensor(test_inputs['attention_mask']),
    'labels': test_labels
}

模型训练

在此任务中,我们将使用PyTorch库实现Transformer模型。 PyTorch是一种基于Python的科学计算包,其灵活性和易用性使其成为深度学习领域最常用的库之一。

可以使用Hugging Face的Transformers实现预先训练好的BERT模型:

from transformers import BertForSequenceClassification, AdamW, BertConfig
model = BertForSequenceClassification.from_pretrained(
    "bert-base-uncased",
    num_labels = 2,
    output_attentions = False,
    output_hidden_states = False,
)

然后,我们需要定义优化器、损失函数和批大小等训练超参数:

optimizer = AdamW(model.parameters(), lr = 2e-5, eps = 1e-8)

from torch.utils.data import DataLoader, RandomSampler, SequentialSampler
batch_size = 32
train_dataloader = DataLoader(train_encoded_dict, sampler = RandomSampler(train_encoded_dict), batch_size = batch_size)
test_dataloader = DataLoader(test_encoded_dict, sampler = SequentialSampler(test_encoded_dict), batch_size = batch_size)

from transformers import get_linear_schedule_with_warmup
epochs = 4
total_steps = len(train_dataloader) * epochs
scheduler = get_linear_schedule_with_warmup(optimizer, num_warmup_steps = 0, num_training_steps = total_steps)
loss_fn = torch.nn.CrossEntropyLoss()

最后,我们可以定义模型的训练过程,并进行模型训练:

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)
model.train()

total_train_loss = 0
for epoch_i in range(epochs):
    print(f"{'':^5}Epoch:{epoch_i + 1:^3}")
    for step, batch in enumerate(train_dataloader):
        b_input_ids = batch['input_ids'].to(device)
        b_token_type_ids = batch['token_type_ids'].to(device)
        b_attention_mask = batch['attention_mask'].to(device)
        b_labels = batch['labels'].to(device)

        model.zero_grad()

        outputs = model(b_input_ids,
                        token_type_ids=b_token_type_ids, 
                        attention_mask=b_attention_mask, 
                        labels=b_labels)
        
        loss = outputs.loss
        total_train_loss += loss.item()
    
        loss.backward()

        torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)

        optimizer.step()

        scheduler.step()

    avg_train_loss = total_train_loss / len(train_dataloader)            
    print("   Average training loss: {avg_train_loss:.2f}")

def evaluate(model, test_dataloader):
    model.eval()

    total_eval_accuracy = 0
    total_eval_loss = 0
    nb_eval_steps = 0

    for batch in test_dataloader:
        b_input_ids = batch['input_ids'].to(device)
        b_token_type_ids = batch['token_type_ids'].to(device)
        b_attention_mask = batch['attention_mask'].to(device)
        b_labels = batch['labels'].to(device)

        with torch.no_grad():       
            outputs = model(b_input_ids, 
                            token_type_ids=b_token_type_ids, 
                            attention_mask=b_attention_mask,
                            labels=b_labels)
        loss = outputs.loss
        logits = outputs.logits

        total_eval_loss += loss.item()
        logits = logits.detach().cpu().numpy()
        label_ids = b_labels.to('cpu').numpy()
        total_eval_accuracy += flat_accuracy(logits, label_ids)

    avg_val_accuracy = total_eval_accuracy / len(test_dataloader)
    avg_val_loss = total_eval_loss / len(test_dataloader)

    return avg_val_accuracy, avg_val_loss

accuracy, val_loss = evaluate(model, test_dataloader)
print(f'Accuracy: {accuracy:.2f}%')

训练结束后,我们可以使用测试集对模型进行评估。TensorFlow提供了非常好的评估函数可以在别人的工程稍微改下直接拿来用:

from sklearn.metrics import accuracy_score
def flat_accuracy(preds, labels):
    pred_flat = np.argmax(preds, axis=1).flatten()
    labels_flat = labels.flatten()
    return accuracy_score(labels_flat, pred_flat)

模型调整和优化

下面是一些可能有助于Transformer模型性能的调整和优化方法。

(1)最大输入序列长度: Transformer模型需要固定大小的输入序列。在IMDB任务中,我们将max_length设置为100。调整这个参数会影响到模型的性能,长时间耗时与显存限制等都会影响选择。

(2)学习率、批大小、迭代次数等训练超参数的调整: 常用策略包括指数衰减学习率、增加批次大小、增加迭代次数等。

(3)使用预训练模型:随着语言模型的发展,预训练语言模型在各种NLP任务中表现越来越好。因此,在这类任务中,可以通过使用预训练的模型来提高准确性。适合使用这个方法的数据集规模越大,效果越明显。

(4) 模型融合或集成: 许多竞赛中,采用模型平均等方式提高模型的完整性和稳健性。在结果更重要的大赛中尤为突出。

总结

首先简要介绍了Transformer的基本结构和工作原理,并解释了为什么它适合于序列到序列的学习问题。然后,我们演示了如何获取IMDB电影评论数据,对其进行标记化处理,并将数据转换为Tensor类型。最后,我们介绍了如何使用BertForSequenceClassification加载预处理的去停词csv数据,及PyTorch库定义优化器、损失函数和批大小等训练超参数来执行模型训练和评估。

以上就是详解基于Transformer实现电影评论星级分类任务的详细内容,更多关于Transformer电影评论星级分类的资料请关注脚本之家其它相关文章!

相关文章

  • 在python中只选取列表中某一纵列的方法

    在python中只选取列表中某一纵列的方法

    今天小编就为大家分享一篇在python中只选取列表中某一纵列的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-11-11
  • python中扫描条形码和二维码的实现代码

    python中扫描条形码和二维码的实现代码

    pyzbar模块是Python一个开源库用于扫描和识别二维码信息。这篇文章主要介绍了python中扫描条形码和二维码的示例代码,需要的朋友可以参考下
    2021-10-10
  • Python随机生成数据后插入到PostgreSQL

    Python随机生成数据后插入到PostgreSQL

    本文主要介绍利用python的random库生成随机数,然后插入到PostgreSQL数据库中,有需要的可以参考学习。
    2016-07-07
  • Python线程之线程安全的队列Queue

    Python线程之线程安全的队列Queue

    这篇文章主要介绍了Python线程之线程安全的队列,是否有一种神器,能解决线程/并发的问题呢?它就是队列Queue,下面进入文章和小编学习Queue的相关资料吧
    2022-02-02
  • Python 普通最小二乘法(OLS)进行多项式拟合的方法

    Python 普通最小二乘法(OLS)进行多项式拟合的方法

    今天小编就为大家分享一篇Python 普通最小二乘法(OLS)进行多项式拟合的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • python基础学习之生成器与文件系统知识总结

    python基础学习之生成器与文件系统知识总结

    本文是参考《python数据分析》的附录对生成器和文件系统结合案例的一个简单回顾,文中对python生成器与文件系统作了非常详细的介绍,对正在学习python的小伙伴们有很好地帮助,需要的朋友可以参考下
    2021-05-05
  • python 镜像环境搭建总结

    python 镜像环境搭建总结

    这篇文章主要介绍了python 镜像环境搭建总结,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-09-09
  • Python机器学习库scikit-learn安装与基本使用教程

    Python机器学习库scikit-learn安装与基本使用教程

    这篇文章主要介绍了Python机器学习库scikit-learn安装与基本使用,较为详细的介绍了机器学习库scikit-learn的功能、原理、基本安装与简单使用方法,需要的朋友可以参考下
    2018-06-06
  • python中Lambda表达式详解

    python中Lambda表达式详解

    在本篇文章里小编给大家整理的是关于python中Lambda表达式的相关知识点内容,有需要的朋友们可以学习下。
    2019-11-11
  • 关于Python两个列表进行全组合操作的三种方式

    关于Python两个列表进行全组合操作的三种方式

    这篇文章主要介绍了关于Python两个列表进行全组合操作的三种方式,两个元组 (a, b)(c, d),则它们的组合有 a,c a,d b,c b,d,这就叫全组合,需要的朋友可以参考下
    2023-04-04

最新评论