Joye Cai's Blog

Know more, Do more, Be more

元学习总览

Meta Learning | 个人总结

Last updated on 2018-12-07… 强化学习博客链接 深度强化学习博客链接 自动机器学习博客链接 自研一第二学期以来,研究元学习有小半年时间,但是出于某种不可抗力,我的研究方向突然变更为自动机器学习(Auto ML)。粗略上来讲,自动学习包含了元学习、强化学习、自动超参数优化等内容。 所以,这篇算是给自己这段时间的研究的一个交代吧…(祭...

神经机器翻译学习大纲

From Neural Machine Translation

Last updated on 2018-10-23… 由于拿到了腾讯AI Lab的实习offer,所以查找了如下大纲。 以下内容转载自北邮研究生LXM的博客,作为个人的学习大纲,不定期增删改。>原文链接 NMT大纲(到2017年6月) 主要作为研究目录,不深入探讨每个模块。 网络架构设计 神经图灵机 利用记忆机制(attent...

深度强化学习综述

Summary of Deep Reinforcement Learning

Last updated on 2018-12-07… 元学习博客链接 强化学习博客链接 自动机器学习博客链接 早期的强化学习算法主要关注于状态和动作都是离散且有限的问题,可以使用表格来记录这些概率。但在很多实际问题中,有些任务的状态和动作的数量非常多,还有些任务的状态和动作是连续的。 相比于RL,DRL通常利用卷积层中隐藏神经元来探测到各式各样的state(取...

浅谈BLEU评分

From Neural Machine Translation

Last updated on 2019-10-17… BLEU,全称为Bilingual Evaluation Understudy(双语评估替换),是一种对生成语句进行评估的指标,用于比较候选文本翻译与其他一个或多个参考翻译的评价分数。 BLEU评分是由Kishore Papineni等人2002年的论文《BLEU: a Method for Automatic Evalua...

PyTorch基础

For Deep Learning

Last updated on 2018-10-25… PyTorch文档 PyTorch是Torch的python版本,早期Torch是基于Lua语言的。相比tensorflow来说,其底层更亲民一些,也更适合动态的网络。 下面代码转载自莫烦的课程,个人根据自己的理解做了一写改动跟注释。 numpy与tensor的转换 import torch import nu...

大规模机器学习

For Data Mining

Last updated on 2018-10-20… 原文来自《美团机器学习实践》,Target:海量数据下的机器学习应用场景 并行计算编程技术 CPU单核:通过向量化技术来提升单核的处理能力 CPU多核:通过多线程技术来充分利用多核处理能力 GPU:通过异构计算来扩充单机的处理能力 多机并行:把多机串联起来组成计算集群 向量化 费林分类法: ...

基于深度学习的OCR

Faster R-CNN、FCN、BLSTM

Last updated on 2018-10-5… 原文来自《美团机器学习实践》,Target:真实场景的OCR任务 面临的挑战 成像复杂:噪声、模糊、光线变化、形变 文字复杂:字体、字号、色彩、磨损、笔画宽度任意、方向任意 场景复杂:版面缺失、背景干扰 传统方法 1.文字行提取:版面分析(连通域分析)+行切分(投影分析) 2.单字识别引擎:Maxout网络结构 ...

深度学习基础

For 面试

Last updated on 2019-12-20… 以下大部分内容来自哈工大(深圳)的HUA Yang同学,非常感谢!个人仅做了少部分的添加和修改。 过拟合与欠拟合 《深度学习》 5.2 容量、过拟合和欠拟合 欠拟合指模型不能在训练集上获得足够低的训练误差; 过拟合指模型的训练误差与测试误差(泛化误差)之间差距过大; 反映在评价指标...

特征工程(文字总结版)

常用特征

Last updated on 2020-2-12… 本文是对《美团机器学习实战》一书中特征工程篇的个人总结,代码实践版见我的另一篇博客:《Python特征工程篇》。文末最后一节为总结出的实际经验。 竞赛中没灵感时候才会稍微看看的文章… 数值特征 数值类型的数据具有实际测量意义,分为连续型(身高体重等)和离散型(计数等),有如下8种处理方法: 1.截断:超出合理范围...

美团点评深度学习架构

Focus on 推荐

Last updated on 2018-10-1… 原文来自《深度学习在美团点评推荐平台排序中的运用》。 1.从整体框架的角度看,当用户每次请求时,系统就会将当前请求的数据写入到日志当中,利用各种数据处理工具对原始日志进行清洗,格式化,落地到不同类型的存储系统中。 2.在训练时,我们利用特征工程,从处理过后的数据集中选出训练、测试样本集,并借此进行线下模型的训练和预估。 ...