Joye Cai's Blog

Know more, Do more, Be more

探索序列模型的本质

For Series Data

Last updated on 2018-11-18… 序列数据如文本、语音、视频等，这类数据的样本间存在顺序关系，每个样本和它之前的样本存在关联。比如说，在文本中，一个词和它前面的词是有关联的；在气象数据中，一天的气温和前几天的气温是有关联的。 理论上 Simple RNN（或者叫 Vanilla RNN）就已经是图灵完备的了，能够模拟任何程序。但是实践中总是不尽如人意，因为存...

Posted by Jiayue Cai on November 4, 2018

注意力与增强RNN

Attention and Augmented Recurrent Neural Networks

Last updated on 2018-10-29… 循环神经网络是深度学习的主要内容之一，可以处理文本、音频和视频等序列数据；可用于将序列分解为高级理解、注释序列，甚至从头开始生成新序列。 原英文链接：https://distill.pub/2016/augmented-rnns/ RNN与LSTM 1.RNN网络示意图： 放大一点： 2.传统的RNN设计...

Posted by Jiayue Cai on October 28, 2018

元学习总览

Meta Learning | 个人总结

Last updated on 2018-12-07… 强化学习博客链接 深度强化学习博客链接 自动机器学习博客链接 自研一第二学期以来，研究元学习有小半年时间，但是出于某种不可抗力，我的研究方向突然变更为自动机器学习（Auto ML）。粗略上来讲，自动学习包含了元学习、强化学习、自动超参数优化等内容。 所以，这篇算是给自己这段时间的研究的一个交代吧…（祭...

Posted by Jiayue Cai on October 24, 2018

神经机器翻译学习大纲

From Neural Machine Translation

Last updated on 2018-10-23… 由于拿到了腾讯AI Lab的实习offer，所以查找了如下大纲。 以下内容转载自北邮研究生LXM的博客，作为个人的学习大纲，不定期增删改。>原文链接 NMT大纲（到2017年6月） 主要作为研究目录，不深入探讨每个模块。 网络架构设计 神经图灵机 利用记忆机制(attent...

Posted by Jiayue Cai on October 23, 2018

深度强化学习综述

Summary of Deep Reinforcement Learning

Last updated on 2018-12-07… 元学习博客链接 强化学习博客链接 自动机器学习博客链接 早期的强化学习算法主要关注于状态和动作都是离散且有限的问题，可以使用表格来记录这些概率。但在很多实际问题中，有些任务的状态和动作的数量非常多，还有些任务的状态和动作是连续的。 相比于RL，DRL通常利用卷积层中隐藏神经元来探测到各式各样的state（取...

Posted by Jiayue Cai on October 21, 2018

浅谈BLEU评分

From Neural Machine Translation

Last updated on 2019-10-17… BLEU，全称为Bilingual Evaluation Understudy（双语评估替换），是一种对生成语句进行评估的指标，用于比较候选文本翻译与其他一个或多个参考翻译的评价分数。 BLEU评分是由Kishore Papineni等人2002年的论文《BLEU: a Method for Automatic Evalua...

Posted by Jiayue Cai on October 20, 2018

PyTorch基础

For Deep Learning

Last updated on 2018-10-25… PyTorch文档 PyTorch是Torch的python版本，早期Torch是基于Lua语言的。相比tensorflow来说，其底层更亲民一些，也更适合动态的网络。 下面代码转载自莫烦的课程，个人根据自己的理解做了一写改动跟注释。 numpy与tensor的转换 import torch import nu...

Posted by Jiayue Cai on October 18, 2018

大规模机器学习

For Data Mining

Last updated on 2018-10-20… 原文来自《美团机器学习实践》，Target：海量数据下的机器学习应用场景 并行计算编程技术 CPU单核：通过向量化技术来提升单核的处理能力 CPU多核：通过多线程技术来充分利用多核处理能力 GPU：通过异构计算来扩充单机的处理能力 多机并行：把多机串联起来组成计算集群 向量化 费林分类法： ...

Posted by Jiayue Cai on October 6, 2018

基于深度学习的OCR

Faster R-CNN、FCN、BLSTM

Last updated on 2018-10-5… 原文来自《美团机器学习实践》，Target：真实场景的OCR任务 面临的挑战 成像复杂：噪声、模糊、光线变化、形变 文字复杂：字体、字号、色彩、磨损、笔画宽度任意、方向任意 场景复杂：版面缺失、背景干扰 传统方法 1.文字行提取：版面分析（连通域分析）+行切分（投影分析） 2.单字识别引擎：Maxout网络结构 ...

Posted by Jiayue Cai on October 5, 2018

深度学习基础

For 面试

Last updated on 2019-12-20… 以下大部分内容来自哈工大（深圳）的HUA Yang同学，非常感谢！个人仅做了少部分的添加和修改。 过拟合与欠拟合 《深度学习》 5.2 容量、过拟合和欠拟合 欠拟合指模型不能在训练集上获得足够低的训练误差； 过拟合指模型的训练误差与测试误差（泛化误差）之间差距过大； 反映在评价指标...

Posted by Jiayue Cai on October 3, 2018

FEATURED TAGS
Develop C++ Python Simulation Machine Learning Feature Engineering Recommending System Tensorflow Deep Learning NLP Big Data Image Reinforcement Learning Computational Advertising Business
ABOUT ME

Joye Cai

✉️ caijiayue2@gmail.com

FRIENDS