语义分析

常见问题

• 语义分析包括哪方面的分析？

  1. 词法分析
  词法分析包括词形分析和词汇分析两个方面。一般来讲，词形分析主要表现在对单词的前缀、后缀等进行分析，而词汇分析则表现在对整个词汇系统的控制，从而能够较准确地分析用户输入信息的特征，最终准确地完成搜索过程。
  2. 句法分析
  句法分析是对用户输入的自然语言进行词汇短语的分析，目的是识别句子的句法结构，以实现自动句法分析的过程。
  3. 语用分析
  语用分析相对于语义分析又增加了对上下文、语言背景、语境等的分析，即从文章的结构中提取出意象、人际关系等附加信息，是一种更高级的语言学分析。它将语句中的内容与现实生活中的细节关联在一起，从而形成动态的表意结构。
  4. 语境分析
  语境分析主要是指对原查询语篇之外的大量“空隙”进行分析，以便更准确地解释所要查询语言的技术。这些“空隙”包括一般的知识、特定领域的知识以及查询用户的需求等。
  5. 自然语言生成
  AI驱动的引擎能够根据收集的数据生成描述，通过遵循将数据中的结果转换为散文的规则，在人与技术之间创建无缝交互的软件引擎。结构化性能数据可以通过管道传输到自然语言引擎中，以自动编写内部和外部的管理报告。

• 语义分析是什么意思？

  语义分析是编译过程的一个逻辑阶段， 语义分析的任务是对结构上正确的源程序进行上下文有关性质的审查，进行类型审查。语义分析是审查源程序有无语义错误，为代码生成阶段收集类型信息。比如语义分析的一个工作是进行类型审查，审查每个算符是否具有语言规范允许的运算对象，当不符合语言规范时，编译程序应报告错误。如有的编译程序要对实数用作数组下标的情况报告错误。又比如某些程序规定运算对象可被强制，那么当二目运算施于一整型和一实型对象时，编译程序应将整型转换为实型而不能认为是源程序的错误。

• 语义分析技术有哪些？

  1. 中文分词
  中文分词是计算机根据语义模型，自动将汉字序列切分为符合人类语义理解的词汇。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。
  在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能够通过明显的分界符来进行简单的划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，不过在词这一层面上，中文比英文要复杂得多、困难得多。
  2. 命名实体识别
  命名实体识别又称作“专名识别”（NER），是指对具有特定意义的实体进行自动识别的技术，是信息提取、知识图谱、问答系统、句法分析、搜索引擎、机器翻译等应用的重要基础。
  3. 词性标注
  词性标注（Part-of-Speech tagging或POS tagging）又称词类标注，是指为分词结果中的每个单词标注一个正确的词性的程序。具体来说就是，确定每个词是名词、动词、形容词或者是其他词性的过程。
  4. 同义词分析
  由于不同地区的文化差异，输入的查询文字很可能会出现描述不一致的问题。此时，业务系统需要对用户的输入做同义词、纠错、归一化处理。同义词挖掘是一项基础工作，同义词算法包括词典、百科词条、元搜索数据、上下文相关性挖掘，等等。
  5. 词向量分析
  词向量技术是指将词转化为稠密向量，相似的词对应的词向量也相近。在自然语言处理应用中，词向量作为深度学习模型的特征进行输入。因此，最终模型的效果在很大程度上取决于词向量的效果。一般来说，字词表示有两种方式：one-hot及分布式表示。
  6. 依存文法分析
  依存文法通过分析语言单位内成分之前的依存关系解释其句法结构，主张句子中的核心谓语动词是支配其他成分的中心成分。而它本身却不会受到其他任何成分的支配，所有受支配的成分都以某种关系从属于支配者。
  7. 词位置分析
  文章中不同位置的词对文章语义的贡献度也不同。文章首尾出现的词成为主题词、关键词的概率要大于出现在正文中的词。对文章中的词的位置进行建模，赋予不同位置不同的权重，从而能够更好地对文章进行向量化表示。
  8. 语义归一化
  语义归一化通常是指从文章中识别出具有相同意思的词或短语，其主要的任务是共指消解。共指消解是自然语言处理中的核心问题，在机器翻译、信息抽取以及问答等领域都有着非常重要的作用。

• 语义分析的目的是什么？

  语义分析程序是进一步检查合法程序结构的语义正确性，其目的是保证标识符和常数的正确使用，把必要的信息收集和保存到符号表或中间语言程序中，并进行相应的语义处理。

• 语义分析的基本功能有哪些？

  1、金融行业应用
  人工智能的飞速发展，使得机器能够在很大程度上模拟人的功能，实现批量人性化和个性化地服务客户，这将给身处服务价值链高端的金融行业带来深刻影响，人工智能将成为决定银行沟通客户、发现客户金融需求的重要因素。它将对金融产品、服务渠道、服务方式、风险管理、授信融资、投资决策等带来新一轮的 在中台支持授信、各类金融交易和金融分析中的决策，在后台用于风险防控和监督，它将大幅改变金融现有格局，金融服务（银行、保险、理财、借贷、投资等方面）将更加地个性化与智能化。证券研报大数据云服务，是鼎富科技针对证券业、基金业研究人员、分析师推出的一款大数据云服务产品。系统提供SaaS服务，提供公告、研报的全网采集，以及事件结构化分析，提供研报一站式智能搜索，以及基于时间轴、基于信息锚点的大数据分析挖掘。系统能帮助分析师从大数据视角进行深度研究分析，提高工作效率。
  2、政府行业应用
  舆情分析为政府、公安、社会等提供可自定义热点问题的舆情分析系统，信息出现的源头到产生的影响全程跟进分析，形成舆情影响波及范围、公众反响、不良舆论等内容的分析报告。
  舆情分析能够大幅度缩短组织对互联网、论坛等电子信息渠道的公众舆论趋势的响应时间，通过关联分析能够帮助组织预测未来可能出现的状况并提前实施相关措施。
  智慧传播云服务，是鼎富科技与腾讯网合作推出的互联网信息监测预警平台，面向政府机构、企事业单位提供互联网信息监测、预警服务。舆情云项目的研发目的是为企业、政府、组织开发一款基于云服务的互联网舆情监测系统。该系统数据采集模块具有可配置、自动去重、垃圾过滤核心功能。系统分析挖掘功能采用智慧语义识别技术，保证了语义分析的准确性。系统可以按照客户需求进行舆情监测定制、统计报表定制和预警定制。
  3、客服行业应用
  客服作为劳动密集型行业，对于一些大公司来说，成本依然很高。智能机器人客服的出现可以在很大程度上解决简单、重复性工作，帮助企业节省人工和坐席成本，提升运营效率。

• 语义分析软件有哪些？

  1、元年智答
  元年智答是一款智能数据分析“助手”，拉近人与数据的距离，轻松对话的形式获取数据可视化图表，在企业内部高效传递数据洞见。提供对话式数据分析、智能数据可视化引擎、企业级数据权限控制、异常监控实时预警、数据变动归因溯源和智能化数据报告功能。
  2、滴普科技
  北京滴普科技有限公司成立于2018年，是专业的数据智能服务商。滴普科技以最新的数据智能技术为基础，以数据的业务价值为核心，为客户提供数据智能领域的产品与服务。 滴普科技构建了低成本、高性能、易使用的新一代云原生数据智能服务平台FastData，以流批一体数据分析引擎DLink、数据集成服务DCT、数据智能开发平台DataFacts、数据科学分析平台DataSense、数据资产管理和运营平台DXP，帮助于企业建立流批一体和湖仓一体的新一代数据存储计算平台和数据科学分析平台。
  3、华为云
  华为云通过基于浏览器的云管理平台，以互联网线上自助服务的方式，为用户提供云计算IT基础设施服务。云计算的最大优势在于IT基础设施资源能够随用户业务的实际变化而弹性伸缩，用户需要多少资源就用多少资源，使用多少资源就付多少钱，通过这种弹性计算的能力和按需计费的方式有效帮助用户降低运维成本。
  4、百度智能云
  百度智能云于2015年正式对外开放运营，是基于百度多年技术沉淀打造的智能云计算品牌，致力于为客户提供全球领先的人工智能、大数据和云计算服务。凭借先进的技术和丰富的解决方案，全面赋能各行业，加速产业智能化。
  5、百度AI开放平台
  百度大脑包括视觉、语音、自然语言处理、知识图谱、深度学习等AI核心技术和AI开放平台。百度大脑对内支持百度所有业务，对外全方位开放，助力合作伙伴和开发者，加速AI技术落地应用，赋能各行各业转型升级，并通过百度智能云赋能行业客户。 百度AI开放平台持续升级，是最完整、最前沿、最开放、最具活力的AI技术平台。现阶段从深度学习框架、深度学习实训平台、场景化AI能力、定制化训练平台，到软硬一体模组和解决方案等实现全面开放，助力企业智能化转型。

• 语义分析原理是什么？

  自然语言处理技术的核心为语义分析。语义分析是一种基于自然语言进行语义信息分析的方法，不仅进行词法分析和句法分析这类语法水平上的分析，而且还涉及单词、词组、句子、段落所包含的意义，目的是用句子的语义结构来表示语言的结构。