Template
Template Construction
- 根据任务手动设计
- 搜索算法/优化算法 生成优化
- 文本 / 无意义字符 (3个soft token,例如s1,s2, s3,在训练过程中,第一个变成be动词的概念,比较玄学)
- 结构化与规则相结合
Example of tasks and corresponding template
例如,在做Summarization时(表格倒数第二条),会加上TL;DR这个prompt,意思是Too Long;Don‘t Read
例子1 :Template:Incorporation Rules and Logic
例如,在上述图片中显示,在判断A(Mark Twain)与B(Langdon)的关系时,要约束A实体和B实体都是Person类别。
例子2 :Structured Template
- Key-value pairs for all the prompts
- organize different tasks to a structured format
例子3: Ensembling Template
- 多个template融合策略:1. 做平均 2. 加权平均 3. 投票
例子4: Template:Automatic Search (自动生成prompt)
AUTO PROMPT:Elicting Knowledge from Language Models with Automatically Generated Prompts 2020
额外加了一个T5模型,判断加入哪些prompt可以提升准确性