职场小聪明

翟晓鹰

首页 >> 职场小聪明 >> 职场小聪明最新章节(目录)
大家在看名门夫人上位记 拯救美强惨男二 公主逃婚以后 成为顾少白月光的日子 都市医仙 猎户出山 流氓大地主 远声唤你做卿卿 魔眼小神医 福星驾到之皇后要落跑 
职场小聪明 翟晓鹰 - 职场小聪明全文阅读 - 职场小聪明txt下载 - 职场小聪明最新章节 - 好看的都市言情小说

第583章 激活函数

上一章书 页下一章阅读记录

激活函数是什么?——用故事和比喻讲解

故事比喻:门卫老张的筛选机制

想象一个大型科技公司的总部大楼,每天有很多人想进公司。但并不是所有人都能进去,只有符合某些条件的员工才能进入工作,而其他人要被拦在门外。

这座大楼的门口站着一个门卫——老张。他的任务是检查进来的人,决定谁能进,谁不能进。他的决策规则就像神经网络中的“激活函数”!

第一种情况:老张完全放行(恒等函数)

有一天,老张心情很好,他决定:“今天所有人都能进!”

? 不管是正式员工、游客,还是快递小哥,只要有人过来,老张就让他们进大楼。

? 这就像是**“线性函数”或“恒等函数”**(Identity Function),没有任何筛选,数据怎么进来,就怎么传递出去。

问题:

? 如果门口有太多人,会导致办公楼人满为患,甚至干扰员工工作(信息过载)。

? 这种情况下,神经网络可能无法学习复杂的特征,因为它没有任何“过滤”或“激活”机制。

第二种情况:老张只让合格员工进(ReLU 激活函数)

第二天,公司老板告诉老张:“从现在开始,只有正式员工能进,其他人一律不准进!”

? 于是,如果有人出示正式员工证,老张就让他进去。

? 但如果是游客、闲杂人等,老张直接摇头:“不行,回去吧!”

这就像ReLU(修正线性单元)激活函数:

? 如果输入是正数(正式员工),就直接通过,传递给下一层神经网络。

? 如果输入是负数(闲杂人等),直接变成 0,相当于拒绝进入。

优点:

? 过滤掉无用信息(负数变成 0,相当于屏蔽了一些干扰)。

? 计算简单,速度快,不会引入复杂的计算。

问题:

? 万一是一个优秀但没证件的实习生呢? 他可能也被老张拦在门外了(ReLU 会把所有负数信息直接清零)。

第三种情况:老张有点犹豫(Sigmoid 激活函数)

有一天,老张觉得:“或许我不该这么绝对,可能有些游客也是未来的潜在客户,不该完全拒之门外。”

于是,他制定了一套打分系统:

? 正式员工(高分):直接进!

? 游客(中等分):可以进去看看,但不能随意走动。

? 陌生人(低分):抱歉,不能进!

这就像Sigmoid 激活函数,它的输出介于 0 到 1 之间,相当于一种概率衡量:

? 高于 0.5 的人(高分):大概率被接受。

? 低于 0.5 的人(低分):大概率被拒绝。

优点:

? 可以平滑地过滤数据,避免“全进或全不进”这样极端的情况。

? 适用于二分类问题(比如邮件是垃圾邮件还是正常邮件)。

问题:

? 计算比较复杂,不像 ReLU 那么直接。

? 当数据过大或过小时,变化很小,容易导致梯度消失(学习速度变慢)。

第四种情况:老张更加智能(Softmax 激活函数)

有一天,老板告诉老张:“我们公司不仅有正式员工,还有不同的部门,比如工程部、市场部、财务部。你不能只区分‘进’或‘不进’,而是要把人分到不同的部门。”

于是,老张开发了一套更加高级的评分系统,不仅判断某人是否能进,还会计算他属于哪个部门的概率。

? 如果一个人穿着工程师制服,90% 可能属于工程部,10% 可能属于市场部。

? 如果一个人拿着营销资料,80% 可能属于市场部,20% 可能属于工程部。

? 每个人都按照最高概率归类到相应部门。

这就像Softmax 激活函数,它的作用是:

? 把所有的可能性转换成概率分布(所有概率加起来是 1)。

? 适用于多分类问题(比如识别一张图片是“猫”、“狗”还是“兔子”)。

优点:

? 适合多类别分类,可以告诉你**“最有可能”是哪一类**。

问题:

? 计算量比 ReLU 大一点,但在分类任务中是最合适的。

总结:不同激活函数的角色

激活函数 比喻 适用场景 优点 问题

恒等函数(Identity) 老张不筛选,所有人都能进 线性回归 简单直接 不能处理复杂问题

ReLU 老张只让正式员工进,其他人全拒 深度学习、cNN 计算简单,效率高 负数全部变 0,信息可能丢失

Sigmoid 老张给每个人打分,决定能不能进 二分类问题(垃圾邮件分类) 平滑过渡,输出 0-1 概率 容易梯度消失

Softmax 老张不但决定谁进,还要分部门 多分类问题(图像识别) 适合多分类问题 计算比 ReLU 复杂

结论:激活函数=智能筛选机制

? 激活函数的作用就像门卫老张,决定哪些信息能进入下一层,哪些要被拒绝。

? 不同的激活函数适用于不同的任务,ReLU、Sigmoid、Softmax 各有千秋。

? 深度学习的关键就是如何聪明地使用这些筛选机制,让神经网络学得更快、更准确!

你更喜欢哪个“门卫策略”呢?如果你是老张,你会怎么设计你的筛选规则?

上一章目 录下一章存书签
站内强推剑卒过河 天崩开局:从捕妖人到人族大帝 收徒就变强?这个师尊她当定了 盲眼神捕的江湖武侠世界 兰姨,我真的对您女儿不感兴趣 第一萌婚:冥王老公宠顽妻 转生萝莉的我当反派怎么了? 四合院:众里寻她千百度 黑暗血时代 嗷呜,今天也要揪揪夫君绒绒兽耳 天官赐福 快穿:黏我的反派男友竟是神明 我的纸扎通阴阳 拍卖万倍返还:凡铁变极道帝兵! 七零,嫁个弟弟被包养 斗罗大陆4终极斗罗 赵氏嫡女 老婆大人欠管教 狂医 寿元能换宝?无限寿元的我无敌了 
经典收藏御女天下 赵氏嫡女 娱乐:国内大花小花全拿下 艳福不浅 邻家雪姨 风口无敌 慕南枝 娱乐:玩刺激游戏,让杨蜜离婚了 雀魂:开局国士无双 绝品都市神医 豪门弃妇不当对照组后躺赢了 娱乐:从参军入伍开始 娱乐长生 上门女婿 买不起手办就造出了钢铁侠这件事 高武:被迫入伍?不,我要成神 农女福妃名动天下 跑男:谁请他来的?他可是道士啊 妇科麻醉师 捡个杀手做老婆 
最近更新重生矿奴,却成为人类救世主? 穿书被鞭打,我抱上黑化首辅大腿 与病弱兄长共梦 我在板鸭很开心 换嫁随军,谁家凶兽奶呼呼呀! 殿下,你抢的王妃是顶级大佬 野欲诱吻 于他怀中轻颤 净水迎帆 我女朋友是学医的 全家偷听心声吃瓜,我赢麻了 荒年肉满仓,缺德后娘养歪女主! 和死对头双穿,冷面丈夫成了权臣 被换命格后,玄门大佬杀疯了 守寡后,我逼疯了满朝文武去种田 被抄家流放,飒爽嫡女在边关盖大楼! 雾色迷津 京夜娇宠 绑定预知梦,我靠演戏救偏执对头 每天努力躺平,大佬人设却焊死了 
职场小聪明 翟晓鹰 - 职场小聪明txt下载 - 职场小聪明最新章节 - 职场小聪明全文阅读 - 好看的都市言情小说