Daily of Developing [7/27]

Data Processing

• TASK: 언어모델의 성능 향상을 위한 파인튜닝 데이터 re-preprocessing

정규표현식

• 특정 문자열의 형태를 반복하는 데이터 이후에 나오는 문장을 모두 삭제

Vol.{1~3자리 수} p.{1~3자리 수}

• 문자열 Vol 다음에 . 온점과 숫자가 오고, 그 뒤에 공백이 있으며 그 다음에 p, . 온점과 숫자가 오는 패턴

regexp = "Vol\.\d+\sp\.\d+"
regexp_list = re.findall(regexp, data)
try:
    data = data.split(regexp_list[0])[0].strip()
except IndexError as e:
    pass

• \. : 온점(.)을 매칭시키기 위해 백슬래시 사용
• \d+ : 숫자 하나 이상을 매칭

• \s : 공백 문자 매칭

• 위 내용은 ChatGPT-3.5를 통해 생성된 답변입니다.

Generative Model

Question-Generation (한국어)

Kobart-QuestionGeneration

• 현 QA downstream task 모델 중 가장 성능이 좋은 모델
• 유려한 문장을 생성하지만 문장 전체의 주제를 포괄하는 질문을 생성해내진 못함
• Huggingface
• Github

Question-Generation (영어)

• 영어로된 데이터셋을 최초에 번역한 후에 한국어 QG 모델에 통과시키려 했으나 번역이 온전치 않기에 QG모델 -> 번역 순으로 전처리 진행

patil-suraj/question_generation

• requirements: Transformers==3.0.0, nltk, nlp==0.2.0
• 모델 크기별 QA, QG 모델이 각가 존재. 혼합 모델도 있음
• QA, QG 태스트 모두 답변 가능하며 다수의 문장을 뱉어주나 성능 면에서는 좋지 못한 것으로 판단되며 transformers 버전 이슈로 인해 가상환경을 따로 구축해줘야해서 사용하기 까다로움

Name	BLEU-4	METEOR	ROUGE-L	QA-EM	QA-F1	QG-FORMAT
t5-base-qg-hl	21.3226	27.0854	43.5962	-	-	highlight
t5-base-qa-qg-hl	21.0141	26.9113	43.2484	82.46	90.272	highlight
t5-small-qa-qg-hl	18.9872	25.2217	40.7893	76.121	84.904	highlight
t5-small-qg-hl	18.5921	24.9915	40.1886	-	-	highlight
t5-small-qg-prepend	18.2791	24.6722	39.958	-	-	prepend

!pip install transformers==3.0.0 nltk nlp==0.2.0
!python -m nltk.downloader punkt
!git clone https://github.com/patil-suraj/question_generation.git
%cd question_generation

from pipelines import pipeline

data = "..."

nlp = pipeline("question-generation", model="valhalla/t5-small-qg-prepend", qg_format="prepend")
nlp(data)

"""
[{'answer': '<pad> How long can this trend really be sustained',
 'question': 'What do you want to ask yourself to prove why the shape of the future  should be fundamentally different from the more cyclical past?'},
{'answer': '<pad> Challenge yourself to try and prove why the shape of the future should be so fundamentally different from the more cyclical past',
'question': 'How long can this trend really be sustained?'},
...
"""

T5-end2end-question-generation

• 영어모델중에서 가장 높은 성능이라 판단하며 output으로 여러 문장이 생성
• Futher Works: output으로 생성된 문장과 원데이터를 유사도 분석하여 similarity가 가장 높은 문장을 최종 채택할 수 있음
• Similarity method
  • cosine similarity

from transformers import T5ForConditionalGeneration, T5TokenizerFast


checkpoint = "t5-base"
tokenizer = T5TokenizerFast.from_pretrained(checkpoint)
hfmodel = T5ForConditionalGeneration.from_pretrained("ThomasSimonini/t5-end2end-question-generation")

tokenizer.sep_token = '<sep>'
tokenizer.add_tokens(['<sep>'])

def hf_run_model(input_string, **generator_args):
  generator_args = {
  "max_length": 256,
  "num_beams": 4,
  "length_penalty": 1.5,
  "no_repeat_ngram_size": 3,
  "early_stopping": True,
  }
  input_string = "generate questions: " + input_string + " </s>"
  input_ids = tokenizer.encode(input_string, return_tensors="pt")
  res = hfmodel.generate(input_ids, **generator_args)
  output = tokenizer.batch_decode(res, skip_special_tokens=True)
  output = [item.split("<sep>") for item in output]
  return output

t5_output = hf_run_model(data1)
t5_output

"""
[["What are scenarios a powerful tool in the strategist's armory?",
  ' What do scenarios enable the strategist to steer a course between?',
  ' How many features make them a particularly powerful tool for understanding uncertainty and developing strategy accordingly?',
  '']]
"""

Sehong/t5-large-QuestionGeneration

• t5-end2end-question-generation 모델과 비교될 정도로 좋은 모델이나 1개의 문장만을 생성하며 원데이터 앞에 special token을 prepend 해줘야 좋은 문장을 뱉어줌
  • special token: answer:
• 생성된 문장에 앞단에 question: token을 prepend된 상태로 나옴

from transformers import T5ForConditionalGeneration, PreTrainedTokenizerFast

tokenizer = PreTrainedTokenizerFast.from_pretrained('Sehong/t5-large-QuestionGeneration')
model = T5ForConditionalGeneration.from_pretrained('Sehong/t5-large-QuestionGeneration').to('cuda')

text = "..."
text_append = "answer:" + text

raw_input_ids_ = tokenizer.encode(data_append)
input_ids_ = [tokenizer.bos_token_id] + raw_input_ids_ + [tokenizer.eos_token_id]
question_ids_ = model.generate(torch.tensor([input_ids_]).cuda(), num_beams = 4, max_length = 512, eos_token_id = 1)
decode_ = tokenizer.decode(question_ids_.squeeze().tolist(), skip_special_tokens = True)

decode_

>>> question: What did he do to avoid looking stupid during the financial crisis?