Joye Cai's Blog

行业观察笔记

航空行业、智能制造、芯片行业、智能电动汽车

Last updated on 2023-1-22… 本篇将对各行业观察相关文章做笔记摘要，不定期阅读整理。航空行业这部分更新于20220202 机票定价的秘密：如何精准「抄底」？市场背景：根据国际航协公布的数据，2013年全球航空业净利润率为1.3%，该数据在疫情前的2019年也仅为3.1%。 “高价格、低利润”的原因，源于民航是交通市场中唯一“充...

Posted by Jiayue Cai on February 2, 2022

图分析算法的应用

路径搜索算法、中心性算法、社群发现算法、频繁模式挖掘、模式匹配、图分析系统

Last updated on 2021-03-21… 图分析使用基于图的方法来分析连接的数据。我们可以：查询图数据，使用基本统计信息，可视化地探索图、展示图，或者将图信息预处理后合并到机器学习任务中。图的查询通常用于局部数据分析，而图计算通常涉及整张图和迭代分析。图算法基于图论，利用节点之间的关系来推断复杂系统的结构和变化。我们可以使用这些算法来发现隐藏的信息，验证业务假设...

Posted by Jiayue Cai on February 17, 2021

新型分布式DNN训练架构 BytePS

PS架构、All-reduce架构、机器间网络通信问题优化、多卡带宽竞争问题优化、CPU 瓶颈问题优化

Last updated on 2020-12-20… 机器之心文章、论文链接、开源代码目前工业界主流的分布式训练是基于数据并行方式实现的，其中具有代表性的两种架构是参数服务器（PS）和All-reduce。 PS 架构则包含 GPU worker 和 CPU server： GPU worker将梯度传输至 CPU server CPU server将...

Posted by Jiayue Cai on December 19, 2020

金融风控基础知识整理

评分卡模型、风控指标体系

Last updated on 2020-07-22… 风控是互联网金融公司开展业务的底层基石，是一块值得精细耕耘的领域。模型方面从早期偏特征工程的风险画像、风险聚类、特征推荐，发展到时序预测（ARIMA、GARCH、Holt-Winter）、异常检测（IF）、图算法、自动机器学习等建模挖掘工作。本篇将以该领域新人的角度出发，整理金融风控领域的相关基础知识。《风控模型—...

Posted by Jiayue Cai on July 12, 2020

MOBIUS 搜索广告匹配系统

主动学习框架、检索性能优化、ANN、MIPS、向量压缩

Last updated on 2020-06-20… 本篇整理自论文《MOBIUS: Towards the Next Generation of Query-Ad Matching in Baidu’s Sponsored Search》，由百度搜索广告团队（“凤巢”）与百度认知计算实验室联合发表于KDD 2019，是一篇工业风满满的论文，干货很多。往期相关传送门：...

Posted by Jiayue Cai on June 14, 2020

用户行为序列建模

Last updated on 2020-06-08… 本篇整理自《谈谈推荐系统中的用户行为序列建模》、《Transformer 在美团搜索排序中的实践》理解用户是搜索排序中一个非常重要的问题，工业级的推荐系统一般需要大量的泛化特征来较好的表达用户。这些泛化特征可以分为两类：偏静态的特征，例如用户的基本属性（年龄、性别、职业等等）特征、长期偏好（品类、价格等等）...

Posted by Jiayue Cai on June 1, 2020

知识蒸馏在推荐系统的应用

Logits蒸馏方法、特征蒸馏方法、精排蒸馏、召回/粗排蒸馏、LTR问题

Last updated on 2020-06-02… 本篇整理自《知识蒸馏在推荐系统的应用》推荐系统中，复杂模型推上线时，模型响应速度太慢，当流量大的时候撑不住，而知识蒸馏（Knowledge Distilation）则是解决方法之一。一般知识蒸馏采取Teacher-Student模式：将复杂模型作为Teacher，Student模型结构较为简单，用Teacher...

Posted by Jiayue Cai on May 28, 2020

强化学习的泛化能力问题

环境随机化、鲁棒性优化、启发式正则、sim2real

Last updated on 2020-05-17… 本篇整理自《炼丹感悟：On the Generalization of RL》目前大部分强化学习论文使用的主要基准任务实际上都是偏弱的，比如MuJoCo或者Atari，更不用说前两年MARL用的multiagent-particle-envs。在偏弱的实验环境里，模型跑出来的结果看起来尚可，模型的许多问题暴露得不...

Posted by Jiayue Cai on May 16, 2020

两个互联网世界

商业价值观、起始阶段、商业化阶段、投资并购阶段

Last updated on 2020-6-21… 读《浪潮之巅》、《腾讯传》、《增长五线》有感本文将从中美互联网的商业价值观、起始阶段、商业化阶段、投资并购阶段四个部分进行对比分析，侧重点会放在中国。商业价值观中美商业价值观差异的根源是人生观的差异。二战期间，美国向战争国出售了大量的军火，大发军火财，战后经济迅速崛起，美国人很快就到达了小康甚至富裕阶...

Posted by Jiayue Cai on April 12, 2020

搜索广告之自动化创意

召回、匹配、排序、展示

Last updated on 2020-03-16… 与一般推荐场景不同，搜索广告是一种具有严格限制性的推荐，本文在参考搜狗公司舒鹏在去年年初分享的一篇《深度学习新技术在搜狗搜索广告中的深化应用》的基础上作了一些补充，从自动化广告创意的业务场景切入，着重探究其背后的一些技术发展。往期相关传送门：《搜索与竞价广告》、《feed流与广告投放》背景知识跟信息流广告或...

Posted by Jiayue Cai on March 14, 2020