Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

关于论文的小疑问 #36

Open
FearAlwaysWorks opened this issue Dec 6, 2021 · 9 comments
Open

关于论文的小疑问 #36

FearAlwaysWorks opened this issue Dec 6, 2021 · 9 comments

Comments

@FearAlwaysWorks
Copy link

大佬你好!感谢你的分享,受益匪浅!
我有点没看懂这个结果。请问这个Oracle结果是在测试集上使用Oracle生成signals吗?个人感觉在测试集上使用标签来生成guidance signal有一些牵强。。。
如果是测试集的Oracle的话,请问有没有在训练时分别使用Oracle和automatic predicted的结果对比呀。
image
不好意思打扰你

@FearAlwaysWorks
Copy link
Author

还有一个疑问。
论文中提到keywords的自动预测方法是BertAbs。
训练BertAbs生成keywords的时候,是用target summaries里提取出的keyword作为target来微调吗?

@zdou0830
Copy link
Collaborator

zdou0830 commented Dec 6, 2021

你好,是用在测试集上用oracle,是为了给一个模型performance的upper bound。Table 10和13有训练用oracle或者automatic predicted的结果对比。

是先从source document提取highlighted sentences,然后再从这些highlighted sentences提取keywords。

@FearAlwaysWorks
Copy link
Author

谢谢回复!
请问生成guidance signal的那些模型是直接用的作者训练好的参数,还是先在根据任务在数据集上fine-tune再用呀?
就比如用Mathsum生成pubmed的抽取式摘要之前会先用pubmed来fine-tune,用BertAbs生成keywords前会先fine-tune模型吗?
对不起刚刚入门问题有点多,打扰你了呜呜。

@zdou0830
Copy link
Collaborator

zdou0830 commented Dec 7, 2021

都是先在各个数据集上训练好模型以后再用的,比如MatchSum要用在PubMed上的话,就先在PubMed上从头训练一个模型,不是finetune的。

@FearAlwaysWorks
Copy link
Author

还有个问题。如果用Auto-predicted来训练guided-summarization,那生成signals的模型是用什么训练得到的呢
对不起又打扰你。。。

@zdou0830
Copy link
Collaborator

比如用在CNN/DM上,就先用oracle从原本的CNNDM的训练集提生成signals的模型的训练集。

@Gloriaf888
Copy link

谢谢回复! 请问生成guidance signal的那些模型是直接用的作者训练好的参数,还是先在根据任务在数据集上fine-tune再用呀? 就比如用Mathsum生成pubmed的抽取式摘要之前会先用pubmed来fine-tune,用BertAbs生成keywords前会先fine-tune模型吗? 对不起刚刚入门问题有点多,打扰你了呜呜。
你好,请问这个问题你解决了吗

1 similar comment
@Gloriaf888
Copy link

谢谢回复! 请问生成guidance signal的那些模型是直接用的作者训练好的参数,还是先在根据任务在数据集上fine-tune再用呀? 就比如用Mathsum生成pubmed的抽取式摘要之前会先用pubmed来fine-tune,用BertAbs生成keywords前会先fine-tune模型吗? 对不起刚刚入门问题有点多,打扰你了呜呜。
你好,请问这个问题你解决了吗

@FearAlwaysWorks
Copy link
Author

FearAlwaysWorks commented Nov 10, 2022 via email

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants