点击上方关注，All in AI中国
作者：Cecelia Shao
纽约地层数据会议主题演讲会场
现在围绕机器学习和人工智能的讨论大多集中在计算机化打Dota或者真实世界语音合成之类的东西上。虽然这些领域有实用价值，但人们对机器学习带来的挑战和实用流水线的实现不够重视。
https://ai . Google blog . com/2018/03/expressive-speech-synthesis-with . html
由于不灵活的框架、缺乏可重复性、协作问题以及不成熟的软件工具，机器学习团队仍在尝试利用机器学习。
在过去的一个月里，我参加了奥莱利传媒举办的人工智能大会和Strata data大会。许多行业巨头都参加了这次会议，并举行了许多会议和论坛。我总是对参加哪些会议感到尴尬，尽管有许多不同的选择(这里有一个由缪斯写的很好的指南)。但我个人更喜欢参加围绕应用机器学习的会议，这些会议涵盖了实际案例的实施措施。
这些应用的机器学习演示很有价值，因为：
演示者通常来自构建实际管道和处理特定需求的团队。内容团队经历的失败方法和痛点都是真的，甚至在以后的迭代中。业务指标之间有真实的联系(如支持票据损失率、客户满意度等。)和机器学习模型。我认为这次会议中最好的会议是优步和ZocDoc的会议。在本文中，我将解释这两个会议的主要内容，以及企业团队如何将这些课程融入到自己的机器学习工作流中。
会议内容
优步和ZocDoc都有颠覆性的商业模式，但两家公司都将机器学习作为一种竞争优势和改善用户体验的方式。
Uber：通过自然语言处理和深度学习提高客户支持
仅在2017年，优步就提供了超过40亿次服务。人们可以想象优步的支持系统需要多大的伸缩性。
在优步的支持下，其机器学习团队希望通过客户服务代表(CSR)推荐三个最相关的解决方案，这本质上是一个名为‘人在回路’的模型架构，它的名字叫客户支持票务代理(COTA)。
优步的机器学习团队决定创建并比较两种不同的模型管道来扩展支持：(1)COTA v1将多类别分类任务转化为排序问题；(2)COTA v2使用了一种叫做编码器-编码器组合解码器的深度学习方法。
在人工智能大会上，来自优步团队的Piero Molino、Huaixiu Zheng和Yi-Jia Wang做了一项令人难以置信的工作，逐步建立了他们的模型架构，并了解了这两种不同方法对收入和票务处理时间的影响。
你可以在这个网站看到更多皮耶罗的作品：http//w4nderlu.st/publications
优步的支持用户界面(UI)通过COTA模型回答了这三个建议。
这两个模型都将提供机票、用户和旅行信息，以建议客户服务代表(CSR)的机票分类和回复模板(答案)。
您可以在下图中看到这两种模型的架构。综上所述，COTA v1使用随机森林模型将分类算法与逐点排序算法相结合，而COTA v2使用深度学习架构，通过优化几种不同类型编码特征(文本、分类、数值、二进制)的损失来学习和预测多个输出。该团队对每个模型进行了超参数搜索(使用COTA v1的网格搜索和使用COTA v2的平行随机搜索)。
我特此建议阅读他们的论文，以获得完整的详细信息和实施决策：
https://arxiv.org/abs/1807.01337
优步团队对COTA的两个版本设置了A/B测试，其中COTA v2的准确率比COTA v1高20%-30%。
从特征工程到预测，优步团队的地图将如何处理不同的输入来填充CSR团队的响应。
优步团队能够将他们的模型的影响与A/B测试(A/B测试的良好资源)和围绕他们的支持体验的客户调查进行比较。团队最终发现，在A/B测试中，COTA v2的准确率比COTA v1高20% ~ 30%。COTA v1缩短了约8%的治疗时间，而COTA v2则缩短了。
约15％。虽然这两种方法都有助于提高客户满意度，但很明显，COTA v2是更好的架构。
Uber的演讲展示了如何将机器学习集成到客户支持等流程中，这是一个迭代过程。他们必须测试不同的架构，并围绕影响准确性的性能做出决策（考虑到合理的错误）。
Zocdoc：逆向工程人工智能原型和再现性之路
ZocDoc是一项在线医疗预约预约服务，通过整合有关医疗实践和医生个人时间表的信息，为最终用户提供医疗保健搜索平台。
https://conferences.oreilly.com/artificial-intelligence/ai-ca-2018/public/schedule/detail/68656
ZocDoc团队在用户旅程的一个非常具体的部分进行了试验：根据他们的保险范围寻找网络医生。
对于ZocDoc的用户，寻找网络内医生可以显著节省就医费用。通常情况下，如果你访问网络中的医生或其他提供者，所支付的费用少于去医院的费用。
https://www.ehealthinsurance.com/ehi/help/newhelpcenter?entry=faqId=HI1;categoryId=HI1-11;entryId=1
ZocDoc团队建立了一个保险卡检查器，允许患者扫描他们的保险卡图片，然后从卡中提取相关详细信息，以检查是否涵盖了特定医生和特定程序。
ZocDoc的图像识别任务是困难的，这是因为：
用户提交的图像通常分辨率较差，且大小不同（由于缺乏格式限制），导致训练数据质量较差。保险卡包含大量其他类型的信息，有时可能会重复会员ID。团队必须快速构建原型，然后将其流程转换为可重现的流程。在AI Conference大会上，ZocDoc公司数据科学主管Brian Dalessandr和高级首席软件工程师Chris Smith通过遍历模型架构的不同阶段概述了这些技术挑战（见下图）。
会议中最有趣的部分是Chris Smith描述了团队决定完全拆除原型所需的基础设施，因为可扩展性和可重复性问题。团队很难识别和跟踪关键模型工件，例如所使用的超参数，软件依赖关系，以及迭代时的更多信息。
有关特定模型实现的更多详细信息，你可以在此处阅读ZocDoc关于此项目的原始博客文章：
https://www.zocdoc.com/about/blog/tech/making-sense-of-insurance-cards-using-deep-learning/
ZocDoc公司的MemberID提取模型架构涉及基本分类网络、对齐网络和光学字符识别（OCR）模型。
ZocDoc团队最终能够通过他们的三部分模型管道超过82％的基准精度（用户报告的统计数据）。然而，他们的旅程是围绕数据和模型管理经验的不断迭代和挫折。
ZocDoc的演示引人注目，因为它表明，即使用户体验中的微小调整也能为客户带来巨大价值，但也需要数据科学家的大量关注，正如博客文章引用的那样：
Akash Kushal说，"我们很快就认识到，获得适合生产级别个人健康应用程序的质量需要更多的独创性和反复试验，而不仅仅是简单地将开源组件串联起来。"
解决实际的机器学习挑战
Uber和ZocDoc的这两个演示文稿说明了实际中的机器学习涉及的不仅仅是使用最新的建模框架。想象一下Chris和Brian在他们不得不重建他们的管道以使其准备就绪时，却意识到他们没有跟踪原型的指标、超参数或代码而感到沮丧。
当今有效机器学习最关键的阻碍之一是可重复性。通过在重新运行过去的实验时减少或消除变化，再现性允许稳健的模型。
在Comet.ml，允许数据科学团队自动跟踪他们的数据集、代码更改、实验历史和生产模型，从而创建效率、透明度和可再现性。
观看Comet.ml如何帮助数千个用户更有效和可追踪的机器学习实验的快速视频：
想了解更多应用机器学习的例子吗？
在Airbnb上对列表照片进行分类（Categorizing Listing Photos at Airbnb）：https：//medium.com/airbnb-engineering/categorizing-listing-photos-at-airbnb-f9483f3ab7e3你如何了解Spotify？（How Does Spotify Know You So Well?）：https//medium.com/s/story/spotifys-discover-weekly-how-machine-learning-finds-your-new-music-19a41ab76efeStitch Fix Algorithms Tour：https：//algorithms-tour.stitchfix.com/ZestFinance for underwriting https://conferences.oreilly.com/strata/strata-ca-2018/public/schedule/detail/63947来自Red Pixie、Techemergence和ranee的ML x营销帖子的应用机器学习的更高级别概述（Higher level overviews of applied ML from Red Pixie, Techemergence and ranee's post on ML x marketing）：https://towardsdatascience.com/real-world-examples-of-applied-machine-learning-from-ai-conference-4d4678700c6
