主办单位: | 泰迪杯数据挖掘挑战赛组委会 |
协办单位: | 人民邮电出版社有限公司 |
北京泰迪云智信息技术研究院 | |
承办单位: | 广东泰迪智能科技股份有限公司 |
随着数字经济的快速发展,社会对数字人才的需求与日俱增。为贯彻落实党中央、国务院关于发展数字经济的决策部署,发展数字人才支撑数字经济的基础性作用,加快推动形成新质生产力,为高质量发展赋能蓄力,数字人才培育成为当务之急。根据《加快数字人才培育支撑数字经济发展行动方案(2024-2026年)》通知,“泰迪杯”数据挖掘挑战赛组织委员会将举办全国数字人才技能提升师资研修班,旨在提升高校教师在大数据、人工智能、大模型等领域的专业知识和技能,以更好地支持数字经济的发展。定于2024年5月20日至5月30日开展2024年第一期全国数字人才技能提升师资研修班,活动将覆盖六个线上专题,涵盖了数字技术核心领域的最新进展和应用实践,期待您的参与。现将有关安排通知如下:
一、 培训组织
主办单位:泰迪杯数据挖掘挑战赛组织委员会
协办单位:人民邮电出版社有限公司
北京泰迪云智信息技术研究院
承办单位:广东泰迪智能科技股份有限公司
二、课程安排
本次培训教学视频六个月有效期可反复观看学习,同步提供配套资源,线上学习无需脱产,可灵活安排时间。
专题一 aigc技术与应用实战
基本信息 | 技能学习 | 案例实战 | ||
时间:5月20日 - 27日 学时:共计56学时 证书:cbda大模型应用工程师 费用:1980元/人 学习环境要求:windows10或以上操作系统(64位),8g 内存 【专题特色:紧贴大模型前沿应用、切实提升工作效率、全程无代码、真正零门槛学习最新技术】 | 1、大模型与aigc概述 2、提示工程 3、aigc教学应用 4、aigc生产力提升 5、aigc与图像生成(拓展) 6、特别内容: (1) chatgpt教学应用 (2) 金牌助手chatgpt,让应用开发更高效 (3) 大模型(chatglm2)产业应用漫步与畅想 | 1、大模型赋能科研 2、rag应用:构建一个答疑小助手 3、agent应用:构建一个私人助理 4、基于大模型的小红书文案写作(拓展) |
专题二 大模型微调应用实战
基本信息 | 技能学习 | 案例实战 |
时间:2024年5月20日 - 5月30日 学时:共计88学时 证书:高级人工智能应用工程师职业技术证书 费用:2480元/人 学习环境要求:windows10或以上操作系统(64位),8g 内存 【专题特色:从基础神经网络到tansformer、从传统机器学习到预训练和微调,彻底讲清楚大模型的工作原理与机制;手把手带你搭建属于自己的大模型】 | 1、 2、 3、大模型与aigc概述 4、python机器学习实战 5、pytorch框架基础实战 6、大模型原理与实现 7、特别内容: (1) chatgpt教学应用 (2) 金牌助手chatgpt,让应用开发更高效 (3) 大模型(chatglm2)产业应用漫步与畅想 | 1 基于通义千问(qwen)的创意广告生成 2 基于大模型微调的命名实体识别 3 基于大模型的而金融问句语义相似度计算 4 基于transformer的疫情问诊系统自动翻译实现(拓展) |
专题三 数据分析与挖掘实战(泰迪杯竟赛方向) | ||
基本信息 | 技能学习 | 案例实战 |
时间:2024年5月20日 - 5月30日 学时:共计88学时 证书:高级机器学习工程师职业技术证书 费用:1980元/人 学习环境要求:windows10或以上操作系统(64位),8g 内存 【专题特色:课程融合泰迪杯经典竞赛,涵盖机器学习、爬虫和深度学习基础。分析历年竞赛魅力,掌握实战技巧。】 | 1、 2、python数据分析基础 3、python数据分析与应用 4、python机器学习实战 5、python网络爬虫实战 6、pytorch框架基础实战 7、pytorch深度学习原理与实现(拓展) 8、特别内容: (1) chatgpt教学应用 (2) 金牌助手chatgpt,让应用开发更高效 (3) 大模型(chatglm2)产业应用漫步与畅想 | 1 学生校园卡消费行为分析(2019年技能赛b题相关) 2 泰迪内推平台招聘信息采集与分析(2023年挑战赛c题相关) 3 基于yolov8的岩石样本图像分割(2021年挑战赛b题相关) |
专题四 数据采集与处理实践(python&八爪鱼) | ||
基本信息 | 技能学习 | 案例实战 |
时间:2024年5月20日 - 5月30日 学时:共计88学时 证书:高级python技术应用工程师职业技术证书 费用:1980元/人 学习环境要求:windows10或以上操作系统(64位),8g 内存 【专题特色:课程以python编程实现与八爪鱼工具应用双轨并行。从零开始讲解数据采集流程python代码实现,以及使用无编程门槛的八爪鱼工具高效实现数据采集工作,实现工具与编程技能的双重掌握与优化应用。】 | 1 2 python数据分析基础 3 python数据分析与应用 4 python网络爬虫实战 5 特别内容: (1) chatgpt教学应用 (2) 金牌助手chatgpt,让应用开发更高效 (3) 大模型(chatglm2)产业应用漫步与畅想 | 1 泰迪内推平台招聘信息采集与分析(python) 2 新浪财经数据采集(八爪鱼工具) 3 汽车质量投诉平台数据采集(八爪鱼工具) 4 微博疫情评论数据采集(python) 5 网站图像素材采集实战(拓展) |
专题五 商务数据分析实战(python) | ||
基本信息 | 技能学习 | 案例实战 |
时间:2024年5月20日 - 5月30日 学时:共计88学时 证书:高级大职业技术证书 费用:1980元/人 学习环境要求:windows10或以上操作系统(64位),8g 内存 【专题特色:课程以六大商务数据分析场景为切入点,以数据分析为导向,逐步深入分析案例。学员们将能够更容易地理解商务数据分析的核心概念与实践应用。】 | 1 2 python数据分析基础 3 4 python数据分析实训 5 商务数据分析概述 6 特别内容: (1) chatgpt教学应用 (2) 金牌助手chatgpt,让应用开发更高效 (3) 大模型(chatglm2)产业应用漫步与畅想 | 1 牛刀小试-t公司运营数据分析与业务决策 2 回归分析-某市财政收入预测 3 聚类分析-对某航空公司客户分群 4 分类分析-运营商用户流失判别 5 关联规则-购物篮商品推荐 6 协同过滤-新闻网站用户个性化推荐应用 |
专题六 pytorch深度学习实战 | ||
基本信息 | 技能学习 | 案例实战 |
时间:2024年5月20日 - 5月30日 学时:共计88学时 证书:高级人工智能应用工程师职业技术证书 费用:1980元/人 学习环境要求:windows10或以上操作系统(64位),8g 内存 【专题特色:重点专注于计算机视觉和文本领域。理论与实践相结合,深入解析深度学习原理,实战项目教学】 | 1 2 3 python机器学习实战 4 pytorch框架基础实战 5 pytorch深度学习原理与实现 6 特别内容: (1) chatgpt教学应用 (2) 金牌助手chatgpt,让应用开发更高效 (3) 大模型(chatglm2)产业应用漫步与畅想 | 1 脑pet图像分析和疾病预测 2 基于textcnn的公众健康问句分类 3 新冠疫情期间网民情绪识别 4 基于facenet的人脸智能识别 |
三、课程特色
1、数字人才赋能产业 落地实操授课
课程全程强调动手实操,以实际编码为核心,通过解析企业案例,培养学员在产业技术和数字技术方面的综合能力,助力产业数字化转型和高质量发展。
2、全方位答疑辅导学习
课程设有答疑交流讨论群,培训期间助教全程辅导教学。线上学习部分每天提供10小时的实时在线答疑辅导。
3、 内容从浅及深更易入门
本课程配套有基础知识内容,即使零基础学员也能找到合适自己的学习内容和节奏,快速掌握课程知识和技能,助力学员入门数字经济领域。
4、大模型应用:畅想数据智能新未来
紧贴产业前沿,特邀三位专家畅谈大模型应用,分享“chatgpt教学应用”,“金牌助手chatgpt,让应用开发更高效”,“大模型(chatgpt)产业应用漫步与畅想”等专题,一起畅想数据智能新未来。
5、提供课程资源和回看功能
所有课程相关源代码、数据、ppt、案例素材全部提供下载,即学即用,教学更轻松!
6、满足教学和科研需求
通过技能学习和案例实战,学员将在具体应用场景中全面掌握相关技能,提升实训教学工作的实际动手能力并为后续科研打下坚实基础。
四、证书颁发
1、专题一证书
专题一学员完成培训并经考核合格后,可以获得由泰迪智能研究院国际培训中心颁发的“大模型应用工程师”证书。
2、其他专题证书
非专题一学员经培训并考试合格后,可以获得由工业和信息化部教育与考试中心颁发的相应职业技术证书,证书可登录工业和信息化部教育与考试中心ag尊龙app官网查询。
五、报名与ag尊龙app的联系方式
1、报名材料:报名申请表、身份证复印件、两寸近期正面免冠彩色半身证件照电子版(要求:白色背景底,14-20k大小的.jpg格式)。
2、本次由广东泰迪智能科技股份有限公司收取费用并开具发票。
3、报名ag尊龙app的联系方式
联系人:曾老师 电 话:13246821827
微 信:antonia602501 邮 箱:zengaizhi@tipdm.com
全国数字人才技能提升师资研修班报名申请表
单位名称 | |||||||||
部门/院系 | |||||||||
通讯地址 | |||||||||
发票抬头 | 发票内容: | ||||||||
纳税号 | 电子发票 接收邮箱: | ||||||||
联系人 | 电话: | 邮箱: | |||||||
以下表格中要求提供的信息为申报职业技术证书使用,请真实完整填写 | |||||||||
姓 名 | 性别 | 职务 | 主要任课专业 | 毕业院校 | 最高学历 | 手机号 | 电子邮箱 | 专题选择 (线上/线下) | 是否住宿 (单间/标间) |
费用 凯时棋牌的支付方式 | 1、电汇到指定账户 2、扫码支付(报名后联系工作人员索要支付码) 3、付款时请注明”大数据研修班 单位名称或姓名“字样,方便查账备案 | ||||||||
账户信息 | 账户名:广东泰迪智能科技股份有限公司 开户行:中国工商银行广州花城支行 账户号:3602 0285 0920 1663 221 | ||||||||
备 注 | 请将报名表发送至邮箱:zengaizhi@tipdm.com 联系人:曾老师 电话:13246821827 微信:antonia602501 | ||||||||
附件一 专题课程大纲
专题一 aigc技术与应用实战课程大纲
技能学习(线上云课堂)课程安排 | ||||
时间:5月20日 (09:00 - 18:00) 专题讲座 计算机视觉技术及其应用 大模型与aigc概述 1 大模型是什么? 1.1 大模型的定义 1.2 大模型的特性与应用 2 大模型的前世今生 3 大模型爆火的原因 4 大模型原理介绍 4.1 chatgpt工作机制与训练流程 4.2 自监督预训练解读 4.3 有监督微调介绍 4.4 奖励建模与强化学习 4.5 token是什么 5 aigc简介 提示工程 1 提示工程(prompt engineering)简介 1.1 提示(prompt)是什么 1.2 提示的发展历程 1.3 提示工程(prompt engineering)是什么 1.4 提示词编写原则与策略介绍 | 时间:5月21日 (09:00 - 18:00) 2 提示编写原则与策略 2.1 原则与策略:编写清晰的提示 2.2 原则与策略:提示参考示例 2.3 原则与策略:让模型一步步思考 2.4 原则与策略:调用外部工具 2.5 原则与策略:将复杂任务分解成子任务 2.6 原则与策略:采用系统的提示框架 2.7 原则与策略:用结构化方式进行提示 2.8 自动生成prompt 3 总结 | 时间:5月22日 (09:00 - 18:00) aigc的教学应用 1 学习准备与声明 2 大模型辅导教案撰写 2.1 编写一份教案模板 2.2 撰写具体教案内容 3 题库题目生成 4 大模型辅导文献阅读 5 大模型辅导编程 6 大模型辅导数据分析 7 总结 | 时间:5月23日 (09:00 - 18:00) aigc生产力提升 1大模型辅助生成ppt 2 大模型辅助绘制思维导图 3 大模型辅助绘制流程图 | 拓展内容: aigc与图像生成 1.1 ai绘画简介 1.2 绘图提示词原则与框架 1.3 绘图工具介绍 2.1 绘图流程 2.2 文生图与图生图 2.3 图像连续创作 特别内容: (1) chatgpt教学应用 (2) 金牌助手chatgpt,让应用开发更高效 (3) 大模型(chatglm2)产业应用漫步与畅想 |
案例实战课程安排 | ||||
时间:5月24日(09:00 - 18:00) 大模型赋能科研 1 抛出目标-目标路径-实际场景 2 确定发明专利的关键点 3 完成发明专利的基本内容 4 完成发明专利的详细阐述 5 赋能科研-科研小助手 6 赋能科研-kimi | 时间:5月25日(09:00 - 18:00) rag应用:构建一个答疑小助手 1 rag是什么 2 rag的应用场景与优势 3 rag工作流程 4 rag应用:构建一个答疑小助手 | 时间:5月26日(09:00 - 18:00) agent应用:构建一个私人助理 1 agent是什么 2 agent的应用场景与价值 3 agent工作流程 4 agent应用:构建一个私人助手 | 时间:5月27日(09:00 - 18:00) 结课考核 拓展内容 基于大模型的小红书文案写作 1 小红书文案介绍 2 基于大模型撰写小红书文案并整理文案排版 3 基于大模型设置文案标题 4 基于大模型增加文案内容 5 基于大模型润色整体文案并做出总结 6 实训 小红书文案写作 | 跳转至课程安排 |
专题二 大模型微调应用实战课程大纲
技能学习课程安排 | |||
时间:报名成功后即可开始学习 1 认识python 2 编写python程序 3 认识python数据结构 4 条件判断及分支语句 5 使用def定义函数 6 认识面向对象 7 读取文件数据 8 模块和第三方库 1 python数据分析概述 2 numpy数值计算基础 3 matplotlib数据可视化 4 pandas统计分析基础 5 使用pandas进行数据预处理 时间:5月20日(09:00 - 18:00) 专题讲座 计算机视觉技术及其应用 大模型与aigc概述 1 大模型是什么? 1.1 大模型的定义 1.2 大模型的特性与应用 2 大模型的前世今生 3 大模型爆火的原因 4 大模型原理介绍 4.1 chatgpt工作机制与训练流程 4.2 自监督预训练解读 4.3 有监督微调介绍 4.4 奖励建模与强化学习 4.5 token是什么 5 aigc简介 | python机器学习实战 1 机器学习绪论 1.1 引言 1.2 基本术语 1.3 假设空间&归纳偏好 2 模型评估与选择 2.1 经验误差与过拟合 2.2 评估方法 2.3 性能度量 2.4 性能度量python实现 3 回归分析 3.1 线性回归基本形式 3.2 线性回归模型的python实现 时间:5月21日(09:00 - 18:00) 4 人工神经网络 4.1 单个神经元介绍 4.2 经典网络结构介绍 4.3 神经网络工作流程演示 4.4 如何修正网络参数-梯度下降 4.5 网络工作原理推导 4.6 网络搭建准备 4.7 样本从输入层到隐层传输的python实现 4.8 网络输出的python实现 4.9 单样本网络训练实现 4.10 全样本网络训练实现 4.11 网络性能评价 4.12 实现神经网络算法 时间:5月22日(09:00 - 18:00) pytorch框架基础实践 1 pytorch简介 2 张量操作 2.1 创建张量 2.2 张量与数组相互转化 | 3 构建一个线性模型 3.1 任务描述:构建线性模型 3.2 读取数据 3.3 构建初始模型及损失函数 3.4 test-构建优化器 3.5 构建优化器 3.6 最小化方差(训练) 3.7 执行多轮训练 3.8 训练过程可视化 4 识别手写数字 4.1 案例目标与流程 4.2 加载数据 4.3 加工数据 4.4 模型结构介绍 4.5 构建模型 4.6 模型配置 4.7 模型训练 4.8 执行多轮训练 4.9 模型性能评估 4.10 保存模型 4.11 加载模型 4.12 模型应用 时间:4月23日(09:00 - 18:00) 大模型原理与实现 1 大模型简介 2.1 transformer引入 2.2 transformer训练阶段 2.3 transformer推理阶段 2.4 input embedding操作 2.5 注意力机制介绍 2.6 attention层的计算过程01 2.7 attention层的计算过程02 2.8 从单头到多头注意力 2.9 encoder整体计算过程 | 2.10 encoder代码实现 2.11 decoder整体计算过程 2.12 masked attention及decoder输出 2.13 decoder代码实现 2.14 transformer代码实现 2.15 transformer的并行计算能力 时间:5月24日(09:00 - 18:00) 3 生成式预训练模型gpt 4 双向编码模型bert 5 transformer应用 6 小结 时间:5月25日(09:00 - 18:00) 大模型微调技术详解 大模型微调详解 1 大模型微调详解 2 huggingface peet简介及环境搭建 3 prompt tuning微调技术 4 p-tuning/p-tuning v2微调技术 5 prefix tuning微调技术 6 lora微调技术 7 ia3微调技术 8 其他微调技术 拓展内容: pytorch深度学习原理与实现 1 引言 2 循环神经网络rnn 3 长短时记忆网络lstm 特别内容: (1) chatgpt教学应用 (2) 金牌助手chatgpt,让应用开发更高效 (3) 大模型(chatglm2)产业应用漫步与畅想 |
案例实战课程安排 | |||
时间:5月26日 (09:00 - 18:00) 基于通义千问(qwen)的创意广告生成 1 背景与目标 2.1 千问大模型介绍 2.2 modelscope免费实例 2.3 创建虚拟环境 2.4 模块安装 2.5 模型下载和使用 2.6 模型文件路径说明 3.1 数据格式要求 3.2 数据格式转换 4.1 lora技术 4.2 finetune代码解读 4.3 lora微调和结果 4.4 模型验证 4.5 模型验证的注意事项 5 小结 | 时间:5月27日(09:00 - 18:00) 基于大模型微调的命名实体识别 1 背景与目标 2 目标分析 3 模型准备 3.1 环境准备 3.2 权重下载 4 数据准备 4.1 数据格式说明 4.2 数据格式转化 4.3 构建dataset 5 模型微调训练 5.1 构建模型训练函数 5.2 构建模型测试函数 5.3 模型训练 5.4 模型测试 6 小结 | 时间:5月28日(16:00 - 18:00) 基于大模型的金融问句语义相似度计算 1 案例背景及挖掘目标 2 语义文本相似度 3.1 预处理:文件加载 3.2 预处理:错别字纠正 3.3 预处理:数据类型转化与长度统计 3.4 预处理:数据准备 时间:5月29日 (16:00 - 18:00) 3.5 加载预训练模型 3.6 定义损失函数 3.7 模型训练 3.8 模型预测 3.9 模型评估 4 小结 | 拓展内容: 基于transformer的疫情问诊系统自动翻译实现 1.1 机器翻译发展历程 1.2 任务目标及实现流程 2.1 数据加载 2.2 数据拆分 2.3 预训练模型介绍 2.4 tokenizer介绍 2.5 tokennizer调用实现 3 预训练模型加载 4.1 定义模型训练参数 4.2 定义数据收集器 4.3.1 bleu值概念与计算 4.3.2 定义bleu值 4.4 模型训练 5.1 模型推理 5.2 小结 时间:5月30日 (16:00 - 18:00) 职业技术考试 跳转至课程安排 |
专题三 数据分析与挖掘实战(泰迪杯竞赛方向)课程大纲
技能学习课程安排 | |||
时间:报名成功后即可开始学习 1 认识python 2 编写python程序 3 认识python数据结构 4 条件判断及分支语句 5 使用def定义函数 6 认识面向对象 7 读取文件数据 8 模块和第三方库 python数据分析基础 1 python数据分析概述 2 numpy数值计算基础 3 matplotlib数据可视化基础 4 pandas统计分析基础 时间:5月20日 (09:00 - 18:00) 专题讲座 计算机视觉技术及其应用 python数据分析与应用 1 使用pandas进行数据预处理 1.1 合并数据 1.2 清洗数据 1.3 标准化数据 1.4 转换数据 时间:5月21日 (09:00 - 18:00) python机器学习实战 1 机器学习绪论 1.1 引言 1.2 基本术语 1.3 假设空间&归纳偏好 2 模型评估与选择 | 2.1 经验误差与过拟合 2.2 评估方法 2.3 性能度量 2.4 性能度量python实现 3 回归分析 3.1 线性回归基本形式 3.2 线性回归模型的python实现 3.3 波士顿房价预测的python实现 3.4 逻辑回归介绍 3.5 研究生入学录取预测的python实现 4 决策树 4.1 从女士相亲到决策树 4.2 明天适合打球吗 4.3 决策树拆分属性选择 4.4 决策树算法家族 4.5 泰坦尼克号生还者预测-数据预处理 4.6 泰坦尼克号生还者预测-模型构建与预测 时间:5月22日 (09:00 - 18:00) 5 人工神经网络 5.1 单个神经元介绍 5.2 经典网络结构介绍 5.3 神经网络工作流程演示 5.4 如何修正网络参数-梯度下降法 5.5 网络工作原理推导 5.6 网络搭建准备 5.7 样本从输入层到隐层传输的python实现 5.8 网络输出的python实现 5.9 单样本网络训练的python实现 5.10 全样本网络训练的python实现 5.11 网络性能评价 5.12 调用sklearn实现神经网络算法 | 时间:5月23日 (09:00 - 18:00) python网络爬虫实战 1 python爬虫环境与爬虫简介 1.1 认识爬虫 1.2 认识反爬虫 1.3 配置python爬虫环境 2 网页前端基础 2.1 认识网络信息传输过程 2.2 认识http 3 简单静态网页爬取 3.1 认识静态网页 3.2 实现http请求 3.3 解析网页 3.4 存储数据 时间:5月24日 (09:00 - 18:00) 4 认识动态网页 4.1 认识动态网页 4.2 逆向分析爬取动态网页 4.3 使用selenium库爬取动态网页 时间:5月25日 (09:00 - 18:00) pytorch框架基础实战 1 pytorch简介 2 张量操作 2.1 创建张量 2.2 张量与数组相互转化 3 构建一个线性模型 3.1 任务描述:构建一个线性模型 3.2 读取数据 3.3 构建初始模型及损失函数 3.4 test-构建优化器 3.5 最小化方差(训练) | 3.6 执行多轮训练 3.7 训练过程可视化 4 识别手写数字 4.1 案例目标与流程 4.2 加载数据 4.3 加工数据 4.4 模型结构介绍 4.5 构建模型 4.6 模型配置 4.7 模型训练 4.8 执行多轮训练 4.9 模型性能评估 4.10 保存模型 4.11 加载模型 4.12 模型应用 拓展内容: pytorch深度学习原理与实现 1、引言 2、循环神经网络rnn 3、长短时记忆网络lstm 特别内容: (1) chatgpt教学应用 (2) 金牌助手chatgpt,让应用开发更高效 (3) 大模型(chatglm2)产业应用漫步与畅想 |
案例实战课程安排 | |||
时间:5月26日 (09:00 - 18:00) 学生校园卡消费行为分析(2020年技能赛a题) 1 案例背景和目标 2.1 数据预处理 2.2 学生食堂消费记录处理 2.3 三餐分布饼图 2.4 工作日和非工作日分析 3.1 各专业不同性别消费水平分析 3.2 聚类分析及小结 | 时间:5月27日 (09:00 - 18:00) 泰迪内推平台招聘信息采集与分析(2023年挑战赛c题) 1.1 背景与分析目标 2.1 会员信息表处理 2.2 销售流水表处理 3.1 会员年龄分析 3.2 不同年龄的消费能力 3.3 不同性别的消费情况 3.4 会员和非会员消费情况 3.5 商场会员年消费趋势 3.6 不同月份的消费趋势 3.7 每年每月的消费金额趋势 3.8 不同时刻的消费情况 4.1 用户画像介绍 4.2 会员基本信息标签 4.3 会员消费特征标签 4.4 会员商品偏好标签 4.5 生成用户画像 5.1 会员细分介绍 5.2 kmeans算法实现会员聚类 5.3 结果分析 | 时间:5月28日 (09:00 - 18:00) 基于yolov8的岩石样本图像分割(2021年挑战赛b题) 1 背景与目标 2 目标分析 3.1 yolov5模型概况 3.2 yolov8网络结构 3.3 数据增强 3.4 backbone和neck结构 3.5 head结构和非极大值抑制 4.1 环境准备 4.2 模型和预训练权重下载 4.3 lableme安装 4.4 数据标注 4.5 认识不同的数据格式 4.6 数据格式转化 4.7 数据可视化 | 时间:5月29日 (09:00 - 18:00) 4.8 数据划分 4.9 数据配置文件修改 4.10 模型训练方式说明 4.11 模型训练 4.12 模型验证 4.13 模型预测 4.14 含油面积计算 4.15 图像分割过程总结 5.1 目标分析 5.2 工程准备 5.3 数据格式整理 5.4 图像分类模型训练 5.5 图像分类模型预测 5.6 图像分类过程总结 6 小结 时间:5月30日 (16:00 - 18:00) 职业技术考试 跳转至线上班课程安排 |
专题四 数据采集与处理实战(python&八爪鱼)课程大纲
技能学习课程安排 | |||
时间:报名成功后即可开始学习 1 认识python 2 编写python程序 3 认识python数据结构 4 条件判断及分支语句 5 使用def定义函数 6 认识面向对象 7 读取文件数据 8 模块和第三方库 1 python数据分析概述 2 numpy数值计算基础 时间:5月20日 (09:00 - 18:00) 专题讲座 计算机视觉技术及其应用 1 matplotlib数据可视化基础 1.1 掌握绘图基础语法与常用 1.2 分析特征间关系 1.3 分析特征内部数据分布与分散情况 | 时间:5月21日 (09:00 - 18:00) 2 pandas统计分析基础 2.1 pandas简介 2.2 读写不同数据源的数据 2.3 数据框与数据框元素 2.4 转换与处理时间序列数据 2.5 使用分组聚合进行组内计算 2.6 创建透视表与交叉表 时间:5月22日 (09:00 - 18:00) 3 使用pandas进行数据与预处理 3.1 合并数据 3.2 清洗数据 3.3 标准化数据 3.4 转换数据 时间:5月23日 (09:00 - 18:00) python网络爬虫实战 1 python爬虫环境与爬虫简介 1.1 认识爬虫 1.2 认识反爬虫 1.3 配置python爬虫环境 | 2 网页前端基础 2.1 认识网络信息传输过程 2.2 认识http 3 简单静态网页爬取 3.1 认识静态网页 3.2 实现http请求 3.3 解析网页 3.4 存储数据 时间:5月24日 (09:00 - 18:00) 4 认识动态网页 4.1 认识动态网页 4.2 逆向分析爬取动态网页 4.3 使用selenium库爬取动态网页 时间:5月25日 (09:00 - 18:00) 5 模拟登录 5.1 使用表单登录方法实现模拟登录 5.2 使用cookie登录方法实现模拟登录 5.3 使用selenium模拟登录 | 拓展 6 scrapy爬虫 6.1 认识scrapy 6.2 通过scrapy爬取基本页面信息 6.3 通过scrapy抓取跳转页面数据 7 拓展:终端协议及爬取工具介绍 拓展内容: 网站图像素材采集实战 1 思路介绍 2 单个图片文件爬取 3 获取一个页面所有图片网址 4 保存所有图片 5 翻页爬取更多数据 6 pdf文件规律及问题 7 pdf翻页刷新的网址规律 8 获取当前页所有图片网址 9 翻页刷新爬取所有图片 10 图片拼接成pdf文件 特别内容: (1) chatgpt教学应用 (2) 金牌助手chatgpt,让应用开发更高效 (3) 大模型(chatglm2)产业应用漫步与畅想 |
案例实战课程安排 | |||
时间:5月26日 (09:00 - 18:00) 泰迪内推平台招聘信息采集与分析(python) 1 背景与目标 2 数据采集 2.1 网页结构探索 2.2 定位一级页面数据地址 2.3 爬取及解析一级页面数据 2.4 提取一级页面字段 2.5 定位二级页面数据地址 2.6 爬取及解析二级页面数据 2.7 翻页爬取及数据保存 3 数据处理 3.1 读取已爬取完成的数据 3.2 数据预处理操作 4 分析与可视化 4.1 招聘岗位对学历要求分析 4.2 各行业的大数据招聘需求数量分析 4.3 不同类型公司的薪资待遇分析 4.4 小结 | 时间:5月27日 (09:00 - 18:00) 新浪财经数据采集(八爪鱼工具) 1 背景与分析目标 2 目标分析 3.1 八爪鱼采集器介绍与安装 3.2 菜单栏和模块任务 4.1 自定义任务主界面介绍 4.2 新建自定义任务 4.3 自动识别爬虫字段 4.4 手动配置爬虫字段 4.5 翻页设置 4.6 二级页面爬取 4.7 进入二级页面的注意事项 4.8 数据预览操作 4.9 流程图操作 4.10 自定义任务保存 5.1 数据采集与导出 5.2 任务设置和保存 6小结 | 时间:5月28日 (09:00 - 18:00) 汽车质量投诉平台数据采集(八爪鱼工具) 1 背景与分析目标 2 数据采集 2.1 投诉网页分析和爬虫思路 2.2 分析翻页网址构造 2.3 自定义翻页网址列表 2.4 配置二级页面跳转位置 2.5 循环点击进入二级页面 2.6 配置二级页面的爬虫字段 2.7 修改字段名称 2.8 任务保存和开始采集 2.9 回顾:整体流程分析 3 数据和任务导出 3.1 查看爬虫任务明细 3.2 数据导出保存 4 总结 | 时间:5月29日 (09:00 - 18:00) 微博疫情评论数据采集(python) 1 背景与目标 2.1 评论结构分析 2.2 数据接口分析 3.1 微博页面接口分析 3.2 评论数据接口分析 3.3 评论回复数据爬取 3.4 单页微博及评论数据爬取 3.5 多线程爬虫 4 小结 时间:5月30日 (16:00 - 18:00) 职业技术考试 跳转至线上班课程安排 |
专题五 商务数据分析实战(python)课程大纲
技能学习课程安排 | |||
时间:报名成功后即可开始学习 1 认识python 2 编写python程序 3 认识python数据结构 4 条件判断及分支语句 5 使用def定义函数 6 认识面向对象 7 读取文件数据 8 模块和第三方库 python数据分析基础 1 python数据分析概述 2 numpy数值计算基础
专题讲座 计算机视觉技术及其应用 1 matplotlib数据可视化基础 1.1 掌握绘图基础语法与常用 1.2 分析特征间关系 1.3 分析特征内部数据分布与分散情况 | 时间:5月21日 (09:00 - 18:00) 2 pandas统计分析基础 2.1 pandas简介 2.2 读写不同数据源的数据 2.3 数据框与数据框元素 2.4 转换与处理时间序列数据 2.5 使用分组聚合进行组内计算 2.6 创建透视表与交叉表 时间:5月22日 (09:00 - 18:00) 3 使用pandas进行数据预处理 3.1 合并数据 3.2 清洗数据 3.3 标准化数据 3.4 转换数据 | 时间:5月23日 (09:00 - 18:00) python数据分析实训 1 iris数据处理实训 1.1 拓展学习资料&python环境介绍 1.2 读取数据&修改列名称 1.3 以pythonconsole方式执行代码 1.4 缺失值处理 1.5 重置索引 2 探索chipotle数据 2.1 数据读取及介绍 2.2 分组聚合 2.3 数据类型转化 2.4 求客单价 3 探索apple公司股价数据 3.1 数据读取及介绍 3.2 找到最后一个交易日 3.3 日期探索及可视化 | 特别内容 (1) chatgpt教学应用 (2) 金牌助手chatgpt,让应用开发更高效 (3) 大模型(chatglm2)产业应用漫步与畅想 |
案例实战课程安排 | |||
时间:5月24日 (09:00 - 18:00) 商务数据分析概述 1 商务数据分析基本概念 2 商务数据分析应用场景 3 商务数据分析主要工作及流程 4 商务数据分析方法与工具 5 商务数据分析产业需求 牛刀小试-t公司运营数据分析与业务决策 1 背景与目标 2 目标分析 3 数据探索与处理 3.1 数据探索与处理思路 3.2 读取项目数据&处理业务标签 3.3 日报表读取及上下半年数据拆分 3.4 读取人员成本数据并与日报表拼接 3.5 三表合并及异常值处理 4 数据分析 4.1 计算各类业务的核心指标 4.2 各类业务指标分析及可视化 4.3 各项目核心指标统计及分析 4.4 各部门的核心指标计算分析 5 分析结果与建议 | 时间:5月25日 (09:00 - 18:00) 回归分析-某市财政收入预测 1 背景与目标 1.1 案例背景 1.2 数据介绍 2 目标分析 3 线性回归分析 3.1 线性回归分析介绍 3.2 构建线性回归模型 3.3 利用构建好的模型进行预测 3.4 数据读取与拆分 3.5 模型训练与预测 4 分析结果与评估 4.1 模型性能评估 4.2 将预测结果可视化 4.3 g市未来两年财政收入预测 时间:5月26日 (09:00 - 18:00) 聚类分析-对某航空公司客户分群 1 背景与目标 2 数据预处理 2.1 数据读取 2.2 剔除票价为空的记录 2.3 剔除异常记录 3 特征构造 3.1 rfm模型介绍 3.2 lrfmc模型 3.3 构造入会时长特征 3.4 剩余特征构造 4 k-means客户分群 4.1 使用k-means算法进行客户分群 4.2 获取k-means聚类结果 4.3 聚类结果可视化 5 小结 | 时间:5月27日 (09:00 - 18:00) 分类分析-运营商用户流失判别 1.1 背景与目标 1.2 案例思路分析 2.1 数据探索 2.2 数据去重及删除无关属性 2.3 用户分组及标签构建 2.4 提取用户基本信息和在网时长 2.5 处理合约是否有效 2.6 处理合约计划到期时间 2.7 其余变量处理 2.8 特征拼接及缺失值处理 2.9 数据保存 3.1 特征选择介绍 3.2 皮尔逊特征选择 3.3 处理样本类别不均衡问题 4.1 模型性能评估介绍 4.2 模型构建及性能评估 时间:5月28日 (09:00 - 18:00) 关联规则-购物篮商品推荐 1 背景与目标 2 目标分析 3 数据探索与处理 3.1 数据读取及筛选 3.2 将数据处理成购物篮形式并保存 4 关联规则分析 4.1 关联规则介绍 4.2 apriori算法流程 4.3 提升度的概念 5 关联规则模型构建 5.1 数据加载及拆分 5.2 挖掘强关联规则(apriori算法实现) 6 模型性能评估 | 时间:5月29日(09:00 - 18:00) 协同过滤-泰迪内推平台信息精准推荐应用 1 背景与目标 2 目标分析 2.1 推荐思路分析 2.2 基于物品的协同过滤推荐介绍 3 工程实现 3.1 eb工具登录及简介 3.2 创建空白工程 3.3 导入数据 3.4 筛选正文数据 3.5 字符替换及记录去重 3.6 划分训练集用户和测试集用户 3.7 构建训练集和测试集数据 3.8 构建模型 3.9 推荐及性能评估 4 小结 时间:5月30日 (16:00 - 18:00) 职业技术考试 跳转至线上班课程安排 |
专题六 pytorch深度学习实战课程大纲
技能学习课程安排 | ||||
时间:报名成功后即可开始学习 1 认识python 2 编写python程序 3 认识python数据结构 4 条件判断及分支语句 5 使用def定义函数 6 认识面向对象 7 读取文件数据 8 模块和第三方库 1 python数据分析概述 2 numpy数值计算基础 3 matplotlib数据可视化基础 4 pandas统计分析基础 5 使用pandas进行数据预处理 时间:5月20日(09:00 - 18:00) 专题讲座 计算机视觉技术及其应用 python机器学习实战 1 机器学习绪论 1.1 引言 1.2 基本术语 1.3 假设空间&归纳偏好 2 模型评估与选择 2.1 经验误差与过拟合 2.2 评估方法 2.3 性能度量 | 2.4 性能度量python实现 3 回归分析 3.1 线性回归基本形式 3.2 线性回归模型的python实现 4 决策树 4.1 从女士相亲到决策树 4.2 明天适合打球吗 4.3 决策树拆分属性选择 4.4 决策树算法家族 4.5 泰坦尼克号生还者预测-数据预处理 4.6 泰坦尼克号生还者预测-模型构建与预测 时间:5月21日 (09:00 - 18:00) 5 人工神经网络 5.1 单个神经元介绍 5.2 经典网络结构介绍 5.3 神经网络工作流程演示 5.4 如何修正网络参数-梯度下降法 5.5 网络工作原理推导 5.6 网络搭建准备 5.7 样本从输入层到隐层传输的python实现 5.8 网络输出的python实现 5.9 单样本网络训练的python实现 5.10 全样本网络训练的python实现 5.11 网络性能评价 5.12 调用sklearn实现神经网络算法 | 时间:5月22日 (09:00 - 18:00) pytorch框架基础实战 1 pytorch简介 2 张量操作 2.1 创建张量 2.2 张量与数组相互转化 3 构建一个线性模型 3.1 任务描述:构建一个线性模型 3.2 读取数据 3.3 构建初始模型及损失函数 3.4 test-构建优化器 3.5 最小化方差(训练) 3.6 执行多轮训练 3.7 训练过程可视化 时间:5月23日(09:00 - 18:00) 4 识别手写数字 4.1 案例目标与流程 4.2 加载数据 4.3 加工数据 4.4 模型结构介绍 4.5 构建模型 4.6 模型配置 4.7 模型训练 4.8 执行多轮训练 4.9 模型性能评估 4.10 保存模型 4.11 加载模型 4.12 模型应用 | 时间:5月24日 (09:00 - 18:00) pytorch深度学习原理与实现 1 深度神经网络-引言 2 卷积神经网络cnn 2.1 浅层神经网络的局限 2.2 卷积操作 2.3 卷积操作的优势 2.4 池化及全连接 2.5 高维输入及多filter卷积 2.6 实现卷积和操作 2.7 将卷积结果可视化 2.8 实现池化操作 | 时间:5月25日 (09:00 - 18:00) 3 循环神经网络rnn 3.1 循环神经网络简介 3.2 循环神经网络的常见结构 4 长短时记忆网络lstm 4.1 lstm的三个门 4.2 lstm三个门的计算示例 4.3 实现lstm操作 4.4 lstm返回值解读 5 利用rnn&lstm实现mnist手写数字识别 5.1 加载数据 5.2 数据加工 5.3 搭建循环神经网络 5.4 模型配置 5.5 模型训练 5.6 模型性能验证 特别内容: 金牌助手chatgpt,让应用开发更高效 |
案例实战课程安排 | ||||
时间:5月26日(09:00 - 18:00) 脑pet图像分析与疾病预测 1 背景与目标 2 数据处理 2.1 图像读取及尺寸调整 2.2 图像增强之翻转操作 2.3 图像增强之旋转缩放 2.4 获取所有照片路径 2.5 批量获取照片数据 2.6 将数据处理过程封装成函数 3 模型构建 3.1 定义卷积&池化层 3.2 定义全连接层 3.3 定义网络计算过程 3.4 数据集维度顺序调整及类型转化 3.5 数据集分批及打乱操作 3.6 模型构建及配置 3.7 模型训练 4 模型性能评估及应用 4.1 模型性能评估及保存 4.2 模型应用 | 时间:5月27日(09:00 - 18:00) 基于textcnn的公众健康问句分类 1 背景与目标 1.1 背景与目标 1.2 目标分析 2 数据探索与处理 2.1 数据探索 2.2 剔除无效字符及分词操作 2.3 读取停用词表 2.4 去除停用词 2.5 为词语编号 3 词嵌入(word2vec) 3.1 词嵌入(word2vec)介绍 3.2 获取目标词向量矩阵 3.3 博爱从处理好的数据 4 模型构建(textcnn) 4.1 统一各样本的词语数量 4.2 textcnn介绍 4.3 构建textcnn 4.4 建模前数据准备 4.5 执行模型训练 5 模型性能评估 5.1 模型性能评估 5.2 小结 | 时间:5月28日 (09:00 - 18:00) 新冠疫情期间网民情绪识别 1 背景与目标 2 数据准备 2.1 数据基本介绍 2.2 词嵌入介绍 2.3 进行词向量训练 2.4 构建词向量矩阵 2.5 获取编码后的语料库 2.6 对各样本执行padding操作 2.7 拆分数据并将其转为模型所需格式 3 模型训练与性能验证 3.1 embedding层介绍 3.2 定义embedding层算子 3.3 定义lstm层算子 3.4 定于全连接层算子 3.5 定义网络计算流程 3.6 模型构建及配置 3.7 模型训练 3.8 模型性能评估 4 小结 | 时间:5月29日(09:00 - 18:00) 基于facenet的人脸智能识别 1 背景与目标 1.1 背景与目标 1.2 目标分析 1.3 开发环境和工程结构介绍 2 人脸检测 2.1 mtcnn人脸检测介绍 2.2 执行人脸检测操作 3 人脸对齐 3.1 执行人脸对齐操作 3.2 人脸检测与对齐代码整理 4 人脸特征提取 4.1 facenet溯源-计算机视觉领域的部分大事件 4.2 facenet介绍 4.3 执行人脸特征提取操作 5 人脸识别 5.1 获取后台数据库中的人脸数据 5.2 获取后台数据库人脸数据脚本解读 5.3 完成人脸识别操作 5.4 代码整理与结构可视化 6 小结 | 时间:5月30日(16:00 - 18:00) 职业技术考试 跳转至线上班课程安排 |
附件二 师资介绍
冯国灿博士,中山大学数学学院教授,博士生导师。泰迪杯数据挖掘挑战赛组委会委员,中国工业与应用数学会常务理事,广东省工业与应用数学学会理事长,2000-2002英国格莱莫根大学数字图像实验室和布拉德福大学数字媒体实验室做博士后研究员。主要从事模式识别、计算机视觉研究,参加主持包括国家自然科学基金等科学基金20多项,发表学术论文100余篇,入选2014-2019爱思唯尔计算机科学中国高被引学者排行榜。 | |
张敏,广东泰迪智能科技股份有限公司培训总监,高级信息系统项目管理师。具有丰富的大数据挖掘、人工智能教学和开发经验,曾为南方电网、国家电网、格力电器、珠江数码等多个大型企业提供i项目研发与维护服务。参编数据挖掘与人工智能类教材10余本,作为主讲老师参与国内高校和企业关于数据挖掘、人工智能相关培训班百余场。 | |
周东平,广东泰迪智能科技股份有限公司产品总监,高级。项目经理。从事数据行业多年,熟悉大数据、人工智能相关项目开发流程;具有丰富的大数据、人工智能产品与应用设计经验,对于大数据、人工智能教学具有深入研究。精通python语言,策划主持编写python方向大数据与人工智能图书10余本,包括《》、《python3智能数据分析快速入门》、《大数据数学基础(python语言描述)》等。在职期间参与项目涵盖电力、税务、金融、新闻、建筑等方向,具有丰富的行业经历。 | |
陈四德,广东泰迪智能科技股份有限公司高级,统计学专业,对数据统计分析和数据挖掘领域均有较强的理解和理论基础;有造价行业、游戏行业背景和丰富的项目经验,精通行业内的各种指标分析,擅于从多维度分析数据,逻辑性强;擅长python、r语言、mysql数据库等工具,能熟练对数据进行数据处理和分析,掌握常用的数据挖掘算法如分类、聚类等,以及深度学习tensorflow的使用。负责“网站会员流失预测”项目,完成数据处理,模型构建;负责“平台bi埋点数据入库及数据分析”项目,完成数据盘点、数据指标整理和把控;负责“游戏数据分析”项目,完成产出游戏生态日报、客户价值分群结果、用户流失的预警、用户画像指标的完善和维护,项目经验丰富。负责过西安交大城市学院、福建农林大学、国培师资培训、韩山师范学院数据分析就业班、湖南科技职业技术学院、武汉科技大学、广东机电职业技术学院国培、柳州城市职业技术学院第一届大数据职业技能竞赛指导、吉林大学珠海学院等培训项目,授课经验丰富。负责过“泰迪杯”数据挖掘挑战赛出题及赛题指导。 |