读论文
1、Sentence Representations from Natural Language Inference Data 大意:利用有监督的自然语言推断数据训练句向量,利用句向量的拼接、求差做分类进行训练。求得的句子向量在情感分析等12项任务上进行测试,句向量+dense进行分类。对比了RNN、LSTM、GRU、CNN、self-attention等句向量表征结构,BiLSTM + m...
1、Sentence Representations from Natural Language Inference Data 大意:利用有监督的自然语言推断数据训练句向量,利用句向量的拼接、求差做分类进行训练。求得的句子向量在情感分析等12项任务上进行测试,句向量+dense进行分类。对比了RNN、LSTM、GRU、CNN、self-attention等句向量表征结构,BiLSTM + m...
背景 从公司大佬哪儿得知,CNN在query理解上有难以被超越的效果(当然除了bert类的巨无霸模型),就尝试了下。 做法 仍然使用 上一篇博客 中的query相似度任务和数据,同样用孪生网络来做,不过表征query向量的LSTM替换成了CNN,对比CNN和LSTM在query理解上效果的差异,CNN结构参考14年的一篇 paper 来做。 CNN结构先用多个滤波器做卷积,滤波器的某一维与...
读书 1、《微观经济学》:一直以为读的是宏观经济学,读完了才发现是微观的。经济学从经济体的角度考虑,怎么让生活变得更加美好,以达到全局最优。印象最深的是关于交易的一个例子,两个经济体 A 和 B,都会制造两种物品 x 和 y,即使 A 对 x 和 y 的产能都落后于 B,如果 A 和 B 之间产生交易的话,也能增加整体的产能。比如 A 的产能是 20x/年(代表 A 拿一年时间都去生产 x ...