本文正在参加「金石计划 . 瓜分6万现金大奖」
前语
核算机读懂言语,在现在现已不是什么新鲜的作业了,不过你有没有想过核算机是如何读懂人类言语的呢?
自然言语处理 NLP 技术在当今变成了最具有挑战性也是最难攻破的人工智能技术之一。
接下来就聊一聊机器学习傍边的自然言语处理 NLP 技术吧。
介绍
Nature Language Processing 简称 NLP,中文的意思是自然言语处理。但这个 NLP 并不是一种形式,也不是单单一种模型, 他是由许多方法许多算法组合的一个综合体。传统的方法往往经过统计学的方法完结对言语的初级加工、运用。可是现在咱们通常用深度学习的方法, 想让模型去了解言语,然后基于这个了解发生不同的运用面。尽管当时的深度学习归根究底还是用的大数据,做的统计学的作业,可是它比较传统的统计学, 能拥有愈加深层次的言语了解能力。
运用
经过 Google 搜索 稀土,搜索引擎可以准确地回来需要查询的答案;
以及和机器人进行对话,基本可以了解人的意思;
或许当你炒股,又或许你在做量化交易时,能读懂当时商场变化的言语模型或许也能帮上你的忙。 核算机可以读懂言语的条件是:这种言语是一种可核算的物体。
了解
那机器应该如何去了解人类的言语呢?
众所周知,机器的底层是二进制,因而咱们需要找到一种方法将咱们熟知的中文,英文和各种外文转化成数字形式。
比方上图这些长度一样的数字串,这些数字具体的取值是怎样得来的,博主会在后期的博文中介绍,当时咱们只需要了解核算机如果需要了解文字的内容,就必须将文字转化成某种数学表达形式,而一串数字肯定是最便利核算和转化的方法了。
自然言语处理中有一个典型的运用,便是翻译:
咱们将一种言语作为输入,一种作为输出,运用 NLP 作为中心的桥梁,首先将英文经过一种压缩机制转码成机器能了解的数字,然后用中心这种数字化的言语表达形式,再经过一次中文的解压,解压出来中文作为输出言语。其实除了英翻中,同一套机制还能被用在更多的当地。只需咱们保证这个中心态的数字表达形式是核算机可以了解并核算的,那么各种言语的转化就能都兼容起来。
当你想和核算机对话,核算机在收到你的言语信息后,会翻译成它能了解的数字内容,然后运用这些数字言语,经过一些处理剖析,做出行为决议计划,终究回来人类的言语。一来一回,形成对话,处理具体问题。这便是核算机运用自己的言语和咱们交流的一种方法。
可以幻想,现在的网络中,存在的都是以人类言语为主的信息源,可是在未来,机器学习,AI 系统,将要占据网络通讯的绝大部分。
那个时候,咱们的互联网或许就会存在特别多只有机器才能看懂的言语,大多数时候也或许是机器在和机器对话,而不是人和人。由于咱们更习惯于把不重要的事物交给机器来完结,由他们来当咱们的管家,帮咱们订机票,定饭馆,完结一些重复性作业,释放咱们人类可贵的注意力和价值。
跋文
以上便是【NLP】入门(一):简介的全部内容了。
回顾历史,人类发明了言语,使得信息得以流传,使得人类社会愈加紧密。而现在咱们运用自然言语处理技术,让人类也能和非生命体的核算机交流,让它们替咱们完结脏活累活。但这并不是技术的天花板,未来的自然言语处理必定会突破言语学的屏障,铸就核算机自己的言语,使它们彼此之间也能交流,那天也就真实开启了人工智能年代。
上篇精讲:这是第一篇,没有上一篇喔~
我是,期待你的关注;
创造不易,请多多支撑;
系列专栏:AI NLP