人工智能(AI)介绍
参考资料
- 腾讯开发者社区-人工智能专区 https://cloud.tencent.com/developer?tab=2
- 阿里云开发者社区 https://developer.aliyun.com/
- https://developer.aliyun.com/modelscope/
- 深度学习十大算法 https://blog.csdn.net/u014073556/article/details/136733678
- 盘点十大开源语言大模型 https://blog.csdn.net/u014073556/article/details/136915012
- 十大开源GPT替代模型,实现属于你自己的chatGPT https://blog.csdn.net/projim_tao/article/details/131523203
技术发展趋势
- 分布式架构:分布式数据库,分布式服务,分布式缓存,分布式事务,分布式消息中间件,分布式文件系统
- 微服务架构:SpringCloud、serviceMesh、DevOps、Docker、K8s、云原生
- 大数据(bigdata):
- (海量、专业、深度) 数据挖掘、数据分析、数据存储、数据处理
- Hadoop 《The Definitive Guide》《Cloudera Hadoop大数据平台实战指南》_宋立桓
- 云计算(cloud):
- 基于云服务器资源,进行分布式存储、计算 ==> 处理大数据
- 云服务(平台) = 云服务器 + 云存储能力 + 云计算能力(本质是大量服务器式集群,构建出的强大分布存储计算能力)
- 物联网(iot):
- 联网硬件 + 收集数据 + 数据处理应用平台
- 智能家居、穿戴、智慧城市、社区、交通、医疗、教育、工业、农业 …
- 边缘计算(edge)
- 5G:高速网络带宽、网络切片专线;4G改变生活,5G改变社会
- 人工智能(AI)
- AR(Augmented Reality增强现实)、VR(Virtual Reality虚拟现实)
- 区块链、以太坊
一、人工智能(AI)介绍:
是一个融合计算机科学、概率论、统计学、脑神经学和社会科学的前沿综合学科,使得计算机像人一样拥有智能能力,可以代替人类实现识别、认知,分析和决策等多种功能
1.1 机器学习(Machine Learning)
一种实现人工智能的方法, 是人工智能的核心;
用大量的数据来“训练”、使用算法来解析数据、从中学习、总结、归纳、强化程序功能,然后对真实世界中的事件做出决策和预测。
机器学习模型:
- 无监督学习:指的是从信息出发自动寻找规律,并将其分成各种类别,有时也称”聚类问题”。
- 监督学习:指的是给历史数据一个标签,运用模型预测结果。
- 强化学习:指可以用来支持人们去做决策和规划的一个学习方式,它是对人的一些动作、行为产生奖励的回馈机制,通过这个回馈机制促进学习,这与人类的学习相似,所以强化学习是目前研究的重要方向之一。
1.2 深度学习(Deep Learning)
一种实现机器学习的技术,建立、模拟人脑进行分析学习的神经网络,模仿人脑的机制来解数据,例如图像,声音和文本;
深度学习是机器学习中一种基于对数据进行表征学习的方法.
1.3 人工神经网络(Artificial Neural Network,即ANN)
一种机器学习的算法, 是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术
深度学习十大算法 https://blog.csdn.net/u014073556/article/details/136733678
- 1、深度神经网络(DNN)
- 也叫多层感知机,是最普遍的深度学习算法
- 使用场景:图像分类、语音识别、自然语言处理、推荐系统等。
- 2、卷积神经网络(CNN)
- 一种深度的监督学习下的机器学习模型
- 一种专门为处理图像数据而设计的神经网络
- 3、残差网络(ResNet)
- 引入残差块和跳跃连接,ResNet能够更好地训练深度神经网络,避免了梯度消失和模型退化的问题。
- 在计算机视觉领域有着广泛的应用场景,如图像分类、目标检测、人脸识别等。此外,ResNet还可以用于自然语言处理、语音识别等领域。
- 4、LSTM(长短时记忆网络)
- 引入门控机制,LSTM能够更好地处理长期依赖问题,避免了梯度消失和模型退化的问题
- 在自然语言处理领域有着广泛的应用场景,如文本生成、机器翻译、语音识别等。此外,LSTM还可以用于时间序列分析、推荐系统等领域。
- 5、Word2Vec
- 表征学习的开山之作,一种用于自然语言处理的(浅层)神经网络模型
- 广泛应用于各种自然语言处理任务,如文本分类、情感分析、信息提取等
- 6、Transformer
- 一种用于自然语言处理(NLP)和其他序列到序列(sequence-to-sequence)任务的深度学习模型架构
- 在自然语言处理领域有着广泛的应用场景,如机器翻译、文本分类、文本生成等。此外,Transformer模型还可以用于图像识别、语音识别等领域。
- 7、生成对抗网络(GAN)
- 生成器和判别器进行对抗,不断调整参数,直到达到生成器生成的假数据足够逼真,判别器无法区分真实数据与假数据。
- 使用场景:图像生成、数据增强、图像修复、视频生成
- 8、Diffusion扩散模型
- 一种基于深度学习的生成模型,核心思想是通过逐步添加噪声来将复杂数据分布转化为简单的高斯分布,然后再通过逐步去除噪声来从简单分布中生成数据。
- 适用于需要生成连续数据的场景,如图像生成、音频生成、视频生成等
- 9、图神经网络(GNN)
- 一种专门用于处理图结构数据的深度学习模型
- 使用场景:社交网络分析、分子结构预测、知识图谱、推荐系统
- 10、深度Q网络(DQN)
- 广泛应用于各种游戏AI任务,如围棋、纸牌游戏等。此外,它还被应用于其他领域,如机器人控制、自然语言处理和自动驾驶等。
- 深度置信网(Deep Belief Nets,简称DBNs) 一种无监督学习下的机器学习模型。
- 序列到序列(Seq2Seq)模型和循环神经网络(RNN)
二、人工智能的应用场景
2.1.计算机视觉:
- 图像识别、
- 图片分类、
- 图意理解、
- 图片文字提取OCR、
- 人脸识别、
- 指纹识别:
2.2.语音工程:
- 语音识别、
- 语义理解、
- 语音合成:
2.3.自然语言处理(Natural Language Processing, NLP):
- 机器翻译、
- 语义理解、
- 情感分析、
- 智能回复(自然语言生成)
LLM(Large Language Model)大语言模型
是一种通过大规模预训练构建的大型神经网络模型,专注于理解和生成自然语言。
它通过深度学习技术执行自然语言处理(NLP)和自然语言生成(NLG)任务,旨在模拟和理解人类语言的结构、语法和语义。
LLM的核心技术是Transformer模型(chatgpt也是使用Transformer模型),通过对海量数据集的训练,使其具备识别、翻译、预测或生成文本的能力。
chatgpt未开源,盘点十大开源语言大模型 https://blog.csdn.net/u014073556/article/details/136915012
十大开源GPT替代模型,实现属于你自己的chatGPT https://blog.csdn.net/projim_tao/article/details/131523203
- Llama 2
- Alpaca
- Alpaca-LoRA
- BLOOM
- BELLE
- BERT
- CodeGeeX
- CPM
- CPM-2
- CodeGen
- Chinese-Vicuna
- DeepSeek:DeepSeek-R1本地部署指南 https://cloud.tencent.com/developer/article/2493853
- Dolly
- GLM-130B
- mT5
- MiniGPT-4
- OPT
RAG(Retrieval-Augmented Generation)检索增强生成
RAGFlow:是一款基于深度文档理解构建的开源 RAG(Retrieval-Augmented Generation)引擎
检索增强生成(Retrieval-Augmented Generation,简称RAG)技术以其独特的优势成为了研究和应用的热点。RAG技术通过结合大型语言模型(LLMs)的强大生成能力和高效的信息检索系统,为用户提供了一种全新的交互体验
2.4.决策系统:
- 自动驾驶
- 棋牌对弈
- 量化投资
- 游戏AI
2.5.大数据:
- 应用推荐算法
2.6 AIGC(Artificial Intelligence Generated Content),即人工智能生成内容–多模态
是指利用人工智能技术自动生成各种类型的内容。AIGC技术通过深度学习算法、生成式对抗网络(GAN)、预训练模型、多模态技术等,能够生成文本、图像、音频、视频等多种形式的内容。
AIGC的核心技术包括自然语言处理、机器学习、深度学习等,通过这些技术生成逼真的图像和音视频,提高生成内容的准确性和多样性。
广泛应用于广告营销、媒体传播、艺术创作等领域
- 文本生成:自动写作、新闻报道、电子邮件等。
- 图像生成:自动设计、图像编辑、艺术创作等。
- 音频生成:自动配音、音乐创作等。
- 视频生成:自动剪辑、动画制作、视频制作等。
- 3D交互内容:虚拟现实、增强现实内容的创作