Joye Cai's Blog

Know more, Do more, Be more

行业观察笔记

航空行业、智能制造、芯片行业、智能电动汽车

Last updated on 2023-1-22… 本篇将对各行业观察相关文章做笔记摘要,不定期阅读整理。 航空行业 这部分更新于20220202 机票定价的秘密:如何精准「抄底」? 市场背景: 根据国际航协公布的数据,2013年全球航空业净利润率为1.3%,该数据在疫情前的2019年也仅为3.1%。 “高价格、低利润”的原因,源于民航是交通市场中唯一“充...

图分析算法的应用

路径搜索算法、中心性算法、社群发现算法、频繁模式挖掘、模式匹配、图分析系统

Last updated on 2021-03-21… 图分析使用基于图的方法来分析连接的数据。我们可以: 查询图数据,使用基本统计信息,可视化地探索图、展示图,或者将图信息预处理后合并到机器学习任务中。 图的查询通常用于局部数据分析,而图计算通常涉及整张图和迭代分析。图算法基于图论,利用节点之间的关系来推断复杂系统的结构和变化。我们可以使用这些算法来发现隐藏的信息,验证业务假设...

新型分布式DNN训练架构 BytePS

PS架构、All-reduce架构、机器间网络通信问题优化、多卡带宽竞争问题优化、CPU 瓶颈问题优化

Last updated on 2020-12-20… 机器之心文章、论文链接、开源代码 目前工业界主流的分布式训练是基于数据并行方式实现的,其中具有代表性的两种架构是参数服务器(PS)和All-reduce。 PS 架构则包含 GPU worker 和 CPU server: GPU worker将梯度传输至 CPU server CPU server将...

金融风控基础知识整理

评分卡模型、风控指标体系

Last updated on 2020-07-22… 风控是互联网金融公司开展业务的底层基石,是一块值得精细耕耘的领域。模型方面从早期偏特征工程的风险画像、风险聚类、特征推荐,发展到时序预测(ARIMA、GARCH、Holt-Winter)、 异常检测(IF)、图算法、自动机器学习等建模挖掘工作。本篇将以该领域新人的角度出发,整理金融风控领域的相关基础知识。 《风控模型—...

MOBIUS 搜索广告匹配系统

主动学习框架、检索性能优化、ANN、MIPS、向量压缩

Last updated on 2020-06-20… 本篇整理自论文《MOBIUS: Towards the Next Generation of Query-Ad Matching in Baidu’s Sponsored Search》, 由百度搜索广告团队(“凤巢”)与百度认知计算实验室联合发表于KDD 2019,是一篇工业风满满的论文,干货很多。 往期相关传送门:...

用户行为序列建模

Last updated on 2020-06-08… 本篇整理自《谈谈推荐系统中的用户行为序列建模》、《Transformer 在美团搜索排序中的实践》 理解用户是搜索排序中一个非常重要的问题,工业级的推荐系统一般需要大量的泛化特征来较好的表达用户。这些泛化特征可以分为两类: 偏静态的特征,例如用户的基本属性(年龄、性别、职业等等)特征、长期偏好(品类、价格等等)...

知识蒸馏在推荐系统的应用

Logits蒸馏方法、特征蒸馏方法、精排蒸馏、召回/粗排蒸馏、LTR问题

Last updated on 2020-06-02… 本篇整理自《知识蒸馏在推荐系统的应用》 推荐系统中,复杂模型推上线时,模型响应速度太慢,当流量大的时候撑不住,而知识蒸馏(Knowledge Distilation)则是解决方法之一。 一般知识蒸馏采取Teacher-Student模式:将复杂模型作为Teacher,Student模型结构较为简单,用Teacher...

强化学习的泛化能力问题

环境随机化、鲁棒性优化、启发式正则、sim2real

Last updated on 2020-05-17… 本篇整理自《炼丹感悟:On the Generalization of RL》 目前大部分强化学习论文使用的主要基准任务实际上都是偏弱的,比如MuJoCo或者Atari,更不用说前两年MARL用的multiagent-particle-envs。 在偏弱的实验环境里,模型跑出来的结果看起来尚可,模型的许多问题暴露得不...

两个互联网世界

商业价值观、起始阶段、商业化阶段、投资并购阶段

Last updated on 2020-6-21… 读《浪潮之巅》、《腾讯传》、《增长五线》有感 本文将从中美互联网的商业价值观、起始阶段、商业化阶段、投资并购阶段四个部分进行对比分析,侧重点会放在中国。 商业价值观 中美商业价值观差异的根源是人生观的差异。 二战期间,美国向战争国出售了大量的军火,大发军火财,战后经济迅速崛起,美国人很快就到达了小康甚至富裕阶...

搜索广告之自动化创意

召回、匹配、排序、展示

Last updated on 2020-03-16… 与一般推荐场景不同,搜索广告是一种具有严格限制性的推荐,本文在参考搜狗公司舒鹏在去年年初分享的一篇《深度学习新技术在搜狗搜索广告中的深化应用》的基础上作了一些补充,从自动化广告创意的业务场景切入,着重探究其背后的一些技术发展。 往期相关传送门:《搜索与竞价广告》、《feed流与广告投放》 背景知识 跟信息流广告或...