使用 torchtext 的 Multi30k 数据集遇到的问题。

报错信息：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 37: invalid start byte

相关代码（完整代码详见）：

from torchtext import datasets
from torchtext.vocab import build_vocab_from_iterator

train, val, test = datasets.Multi30k(language_pair=("de", "en"))

vocab_src = build_vocab_from_iterator(
    iterator=yield_tokens(train+val+test, tokenizer_de, index=0),  
    min_freq=2, 
    specials=["<s>", "</s>", "<blank>", "<unk>"]
)

相关库版本：

pytorch                   2.1.2           py3.11_cuda12.1_cudnn8_0    pytorch
pytorch-cuda              12.1                 hde6ce7c_5    pytorch
pytorch-mutex             1.0                        cuda    pytorch

torchaudio                2.1.2                    pypi_0    pypi
torchdata                 0.7.1                     py311    pytorch
torchtext                 0.16.2                    py311    pytorch
torchvision               0.16.2                   pypi_0    pypi

该问题疑似为 torchtext 更新导致的，两周前相关 Github 仓库还有人反映该问题：相关链接。尝试了 0.16.1 版的 torchtext 还是报错。

而且其他两个机器翻译的数据库也有问题，替换成 IWSLT2016 与 IWSLT2017 会报错：

IWSLT2016：

HTTPError: 404 Client Error: Not Found for url: https://drive.usercontent.google.com/download?id=1l5y6Giag9aRPwGtuZHswh3w5v3qEz8D8
This exception is thrown by __iter__ of GDriveReaderDataPipe(skip_on_error=False, source_datapipe=OnDiskCacheHolderIterDataPipe, timeout=None)

IWSLT2017：

HTTPError: 404 Client Error: Not Found for url: https://drive.usercontent.google.com/download?id=12ycYSzLIG253AFN35Y6qoyf9wtkOjakp
This exception is thrown by __iter__ of GDriveReaderDataPipe(skip_on_error=False, source_datapipe=OnDiskCacheHolderIterDataPipe, timeout=None)