小龙女kelly
1. 计算机考试小知识点 计算机考试小知识点 1.计算机专业的都考哪些知识 掌握的知识点:电子科学与技术、信息与通信工程、计算机科学与技术、电路理论系列课程、计算机技术系列课程、信息理论与编码、信号与系统、数字信号处理、电磁场理论、自动控制原理、感测技术等。 应备的知识能力: 1.较系统地掌握本专业领域宽广的技术基础理论知识,适应电子和信息工程方面广泛的工作范围;2.掌握电子电路的基本理论和实验技术,具备分析和设计电子设备的基本能力; 3.掌握信息获取、处理的基本理论和应用的一般方法,具有设计、集成、应用及计算机模拟信息系统的基本能力; 4.了解信息产业的基本方针、政策和法规,了解企业管理的基本知识; 5.了解电子设备和信息系统的理论前沿,具有研究、开发新系统、新技术的初步能力; 6.掌握文献检索、资料查询的基本方法,具有一定的科学研究和实际工作能力。 2.计算机一级考试《MSOffice》常考知识点有哪些 1。 计算机病毒的概念计算机病毒(puter Viruses CV):是一种人为编制的具有破坏作用的计算机程序。2。 计算机病毒的的特征(特点)① 破坏性② 传染性③ 隐蔽性④ 潜伏性⑤ 可激发性3。计算机病毒的分类① 根据病毒存在的媒体分类根据病毒存在的媒体,病毒可以划分为网络病毒,文件病毒,引导型病毒② 根据病毒破坏的能力分类无害型:除了传染时减少磁盘的可用空间外,对系统没有其它影响。 无危险型:这类病毒仅仅是减少内存、显示图像、发出声音及同类音响。危险型:这类病毒在计算机系统操作中造成严重的错误。 非常危险型:这类病毒删除程序、破坏数据、清除系统内存区和操作系统中重要的信息。③ 根据病毒特有的算法分类伴随型病毒:这一类病毒并不改变文件本身,它们根据算法产生EXE文件的伴随体,具有同样的名字和不同的扩展名(),例如:XCOPY。 EXE的伴随体是XCOPY。。 蠕虫”型病毒:通过计算机网络传播,不改变文件和资料信息,利用网络从一台机器的内存传播到其它机器的内存,计算网络地址,将自身的病毒通过网络发送。有时它们在系统存在,一般除了内存不占用其它资源。 寄生型病毒:除了伴随和“蠕虫”型,其它病毒均可称为寄生型病毒,它们依附在系统的引导扇区或文件中,通过系统的功能进行传播,按算法分为:练习型病毒:病毒自身包含错误,不能进行很好的传播,例如一些病毒在调试阶段,还不具备发作的条件 。 诡秘型病毒:它们一般不直接修改DOS中断和扇区数据,而是通过设备技术和文件缓冲区等DOS内部修改,不易看到资源,使用比较高级的技术。 利用DOS空闲的数据区进行工作。变型病毒(又称幽灵病毒):这一类病毒使用一个复杂的算法,使自己每传播一份都具有不同的内容和长度。 4。 计算机病毒的防治① 病毒的防范计算机病毒的传播途径主要有两个:软盘和网络。 要防止病毒的侵入,就要以预防为主,堵塞病毒的传播途径。② 病毒的检测和消除检测和消除病毒的方法有两种,一是人工检测和消除,一是软件检测和消除。 3.学计算机的基础知识有哪些 --计算机基础知识定义如下:具有计算机的基础知识和初步应用能力,掌握字处理(word)、电子表格(excel)和演示文稿(powerpoint) 等办公自动化(Office或WPS)软件的使用及因特网(Inter)应用的基本技能,具备从事机关、企事业单位文秘和办公信息计算机化工作的能力。 --持有全国计算机等级考试1级证书,即可证明持有者拥有上述能力.当然了,不持有证书的不一定没有上述能力. --熟练应用计算机以及能够应付各种计算机的小问题也是计算机基础知识很重要的一个体现.如果在应用方面有什么问题的话,可以参考这个电脑问题网 / --根据你提供的情景,老板的要求应该是: 1.熟练计算机基本操作 (参考我给你的网站) 2.会用WORD,EXCEL,POWERPOINT等办公软件(在自己的电脑里熟悉熟悉,练习练习) 就是这样了.应该不是太难.祝你成功。 4.计算机基础知识大纲 这个随便搜一下就知道啊:第一节 计算机概述 一、计算机发展概况 第一代电子管计算机(1946-1957) 第二代晶体管计算机(1957-1964) 第三代中小集成电路计算机(1964-1972) 第四代大规模、超大集成电路计算机(1972-现在) 二、计算机的应用 1.科学计算 2.数据处理 3.实时控制 4.计算机辅助工作 CAD CAM CAI CAE 5.人工智能 三、计算机信息处理的特点 (1)能高速度、高质量地完成各种数据加工任务。 (2)具有庞大的数据存储容量和极快的数据存取速度。 (3)能提供方便的适用方式与丰富多样的信息输出形式。 (4)方便而迅速的计算机通信使信息共享很容易实现。 (5)高效率的计算机辅助开发手段。 模拟练习 【例1·单选题】第四代计算机的主要特征是( )。 A.电子管 B.晶体管 C.中小规模集成电路 D.大规模和超大规模集成电路『正确答案』D【例2·单选题】计算机辅助设计的英文缩写是( )。 『正确答案』A第二节 数据在计算机中的表示 一、数据与信息 国际标准化组织(ISO)对数据所下的定义是:“数据是对事实、概念或指令的一种特殊表达形式,这种特殊的表达形式可以用人工的方法或者用自动化的装置进行通信、翻译转换或者进行加工处理。” 信息是对人们有用的数据,这些数据可能影响到人们行为决策。 二、二进制 (一) 二进制的相关概念 1.二进制,数字电子计算机中采用二进制计数法,在二进制计数法中只有两个数码:即0和1,其基数为二,即逢二向高位进一。 2.二进制数与十进制数的转换 3.八进制与十六进制 有关二进制、十进制、八进制、十六进制数之间的相互转换,可以利用“附件”中的计算器来进行。 (二) 二进制单位(补充内容) 位bit:用于表示一个二进制位、存储信息的最小单位。 字节Byte:存储信息的基本单位。 1字节=8位 1Byte=8bit 换算单位: 1KB=1024B=210B 1MB=1024KB=220B 1GB=1024MB=230B 字长:计算机一次能处理的二进制位数。 常用:8位、16位、32位、64位 三、数值数据在计算机中的表示 数值数据在计算机中采用二进制形式表示,其表示方式有定点表示法和浮点表示法两种。 四、西文字符在计算机中的表示 西文包括:英文字母、数字符号、标点符号、运算符号、控制符号 ASCII码-美国标准信息交换码(二进制) 基本ASCII用7位二进制数表示,占用一个字节,最高位为0。 例:英文字母'B'的7位ASCII码为100 0010。 存储时为0100 0010。 比较大小:数字 键盘输入法: 数字编码(区位码) 拼音编码(全拼、双拼) 字形编码(五笔字型) 型音编码(自然码) 2.汉字的国际交换码与机内码 国标码: 计算机与其他系统或设备之间交换汉字信息的标准编码,又称国际码。1981年,我国颁布了国家标准《信息交换用字编码字符集·基本集》,汉字国标码字符集 *** 收录了汉字和图形符号7445个,其中一级汉字3755个,二级汉字3008个和图形符号682个。 一级汉字为使用频度高的常用汉字,按汉语拼音安母顺序排列;不常用的汉字为二级汉字按部首排列。 在汉字交换码中,每个汉字用两个字节表示。 汉字机内码(内码): 是计算机系统中用来存储和处理中、西文信息的代码。 汉字内码:用两个字节表示。 内码与国标码的关系: 它们的区别在于国际码两个字节的最高位都是“0”,而机内码两个字节的最高位都是“1”。 3.汉字的字形码 汉字输出码又叫做汉字字形码或汉字字模。 汉字输出码的和用是输出汉字,对汉字字形经过点阵的数字化后形成的一串二进制数称为汉字输出码。 点阵字形由排成方阵(如16*16、24*24、48*48……)的一组二进制数字表示一个字符。 16*16点阵字形常用于屏幕显示,笔画生硬,细节难以区分:打印输出常用24*24、40*40、48*48,甚至96*96或更高,点阵的数字越大,说明笔锋越完整,字迹越清晰美观。 点阵字形的字节计算:点阵数/8 4.常用汉字输入法简介 模拟练习 【例3·判断题】'9'的ASCII码小于'a'的ASCII码。 ( )『正确答案』对【例4·单选题】存储信息的基本单位是( )。 『正确答案』B【例5·判断题】汉字输入码是为了解决将汉字输入计算机而编制的代码。 ( )『正确答案』对【例6·单选题】24*24点阵字库中的一个汉字需占( )字节的存储空间。 『正确答案』B【例7·单选题】不同的汉字输入方法输入汉字后,该汉字的内码是( )的。 A.相同的 B.完全不相同 C.大部分相同 D.部分相同『正确答案』A第三节 计算机硬件 一、计算机系统 一个完整的计算机系统是由硬件、软件及用户等三部分组成的人机系统。 二、计算机的逻辑结构 计算机体系结构的基本思想:冯·诺依曼原理 1.输入设备 2.输出设备 3.存储器 (1)主存储器 主存储器也叫内存储器,简称内存,其特点是存取速度快、可靠性高,但容量有限。 (2)辅助存。 5.计算机基础知识有什么 计算机基础可以分为硬件和软件 硬件:主板、CPU、硬盘、内存、显卡、机箱电源、鼠标键盘、光驱、音响等 软件:WINDOWS系统、OFFICE等一般基本工具的应用与系统的安装。 第一步:弄明白主机和显示器的区别,别笑!!真有不知道的,我单位商务客房有的客人就只开显示器,不亮,就说电脑坏了. 第2:分清鼠标左右键.别笑,真弄清楚什么时候该左什么时候该右的时候,你就可以说我会电脑了. 第3:知道键盘上的键都叫什么?别笑?没准你就有一两个键不知道叫什么?干什么用就更不知道了,等你知道了,你就离高手不远了. 第4:明白电脑上的接口能 *** 去的就是插对了,键鼠和音频接口除外. 第5:明白练打字的最好办法就是上网聊天.千万不要用音频聊,那一点长进没有. 第6:明白一个道理:想学好,先搞坏,长进快. 第7:明白WINDOWS的帮助(F1)是最大垃圾,什么问题也解决不了!好了,你已是高手了. 第8:这绝对原创,是我一边回想我12年电脑生涯一边打出来的,版权归BAIDU所有,引用请注明出处,不得用于商业赢利之目的.看完后请马上忘掉,喜欢请购买正版. 全国计算机等级考试一级机试,内容包括选择题、Windows基本操作题、汉字录入题、Word操作题、Excel操作题、PowerPoint操作题以及因特网操作题。 计算机一级考试内容提纲基本要求 1.具有使用微型计算机的基础知识(包括计算机病毒的防治常识)。 2 了解微型计算机系统的组成和各组成部分的功能。 3,了解操作系统的基本功能和作用.掌握Windows的基本操作和应用。 4.了解文字处理的基本知识,掌握文字处理软件"MS Word”的基本操作和应用,熟练掌握 一种汉字(键盘),输人方法。 5.了解电子表格软件的基本知识,掌握电子表格软件"Excel”的基本操作和应用。 6.了解多媒体演示软件的基奉知识.掌握演示文稿制作软件"PowerPoint”的基本操作和应用。 7 了解计算机网络的基本概念和因特同(Inter)的初步知识. 8. 掌握IE浏览器软件和“OutlookExpress”软件的基本操作和使用。 6.计算机的有关知识 给你一点电脑资料: Shift键我们经常使用,但是有些功能你可能并不知道,下面我们就从十个方面来讲一下shift键妙用: 一 当你用QQ和别人聊天时,是不是有时信息发送的特别慢呀,不要紧,只要你发信息时按shift键信息就会很快的发送出去的! 二 当你面对一大堆窗口,却要一个一个把它们关掉时。 是不是很烦啊。只要你按shift键在单击关闭按扭,所以的窗口就会全部关掉。 三 在输入大小写字母时,按shift键,就可以改变其大小写! 四 当安装了某个新软件,有时要从新启动计算机才有用,只要先按shift键,就可以跳过计算机的自检节省了大量的时间! 五 选择文件时,先按shift键,在选最后一个文件,可以选中一大批。 六 删除文件时,按shift键可以直接删除。 不经过回收站。 七 放光碟时,连按数下shift键,可以跳过自动播放! 八 按shift键+F10可以代替鼠标右键。 九 打开文件时,如果你不想用默认方式打开,按shift键,在单击右键,在右边的菜单上就多出了打开方式下面的你就自己去做吧! 十 按shift键,点击超级连接,可以打开新窗口 对于一般用户而言,位于键盘左上方的ESC键并不常用,但你知道吗?其实借助ESC键还能实现不少快捷操作哦! 1.上网时,如果点错了某个网址,直接按ESC键即可停止打开当前网页。 2.上网时总免不了要填写一些用户名什么的,如果填错了,按ESC键即可清除所有的框内内容;而打字时,如果打错了也可以按ESC键来清除错误的选字框。 3.除了“Ctrl+Alt+Del”组合键可以调出windows任务管理器外,按下“Ctrl+Shift+Esc”组合键一样能启动任务管理器。 4.当某个程序不处于活动状态而我们又想将其恢复为活动状态时,按“Alt+Esc”键即可激活该应用程序,而不必用鼠标点击程序标题栏。 5.对于存在“取消”选项的弹出窗口而言,如果你要选择取消的话,直接按ESC键即可实现“取消”操作。 ·PC:个人计算机Personal puter ·CPU:中央处理器Central Processing Unit ·CPU Fan:中央处理器的“散热器”(Fan) ·MB:主机板MotherBoard ·RAM:内存Random Access Memory,以PC-代号划分规格,如PC-133,PC-1066,PC-2700 ·HDD:硬盘Hard Disk Drive ·FDD:软盘Floopy Disk Drive ·CD-ROM:光驱pact Disk Read Only Memory ·DVD-ROM:DVD光驱Digital Versatile Disk Read Only Memory ·CD-RW:刻录机pact Disk ReWriter ·VGA:显示卡(显示卡正式用语应为Display Card) ·AUD:声卡(声卡正式用语应为Sound Card) ·LAN:网卡(网卡正式用语应为work Card) ·MODM:数据卡或调制解调器Modem ·HUB:集线器 ·WebCam:网络摄影机 ·Capture:影音采集卡 ·Case:机箱 ·Power:电源 ·Moniter:屏幕,CRT为显像管屏幕,LCD为液晶屏幕 ·USB:通用串行总线Universal Serial Bus,用来连接外围装置 ·IEEE1394:新的高速序列总线规格Ins***te of Electrical and Electronic Engineers ·Mouse:鼠标,常见接口规格为PS/2与USB ·KB:键盘,常见接口规格为PS/2与USB ·Speaker:喇叭 ·Printer:打印机 ·Scanner:扫描仪 ·UPS:不断电系统 ·IDE:指IDE接口规格Integrated Device Electronics,IDE接口装置泛指采用IDE接口的各种设备 ·SCSI:指SCSI接口规格Small puter System Interface,SCSI接口装置泛指采用SCSI接口的各种设备 ·GHz:(中央处理器运算速度达)Gega赫兹/每秒 ·FSB:指“前端总线(Front Side Bus)”频率,以MHz为单位 ·ATA:指硬盘传输速率AT Attachment,ATA-133表示传输速率为133MB/sec ·AGP:显示总线Accelerated Graphics Port,以2X,4X,8X表示传输频宽模式 ·PCI:外围装置连接端口Peripheral ponent Interconnect ·ATX:指目前电源供应器的规格,也指主机板标准大小尺寸 ·BIOS:硬件(输入/输出)基本设置程序Basic Input Output System ·CMOS:储存BIOS基本设置数据的记忆芯片plementary Metal-Oxide Semiconductor ·POST:开机检测Power On Self Test ·OS:操作系统Operating System ·Windows:窗口操作系统,图形接口 ·DOS:早期文字指令接口的操作系统 ·fdisk:“规划硬盘扇区”-DOS指令之一 ·format:“硬盘扇区格式化”-DOS指令之一 ·:“执行安装程序”-DOS指令之一 ·Socket:插槽,如CPU插槽种类有SocketA,Socket478等等 ·Pin:针脚,如ATA133硬盘排线是80Pin,如PC2700内存模块是168Pin ·Jumper:跳线(短路端子) ·bit:位(0与1这两种电路状态), 计算机数据最基本的单位 ·Byte:字节,等于8 bit(八个位的组合,共有256种电路状态),计算机一个文字以8 bit来表示 ·KB:等于1024 Byte ·MB:等于1024 KB ·GB:等于1024 MB。 7.计算机一级考试《MSOffice》常考知识点是什么 字符编码目前国际上通用的字符编码是ASCII码,即美国标准信息交换代码。 ASCII码用七位二进制数表示一个字符,可表示27共128个字符。包括:32个通用控制符、10个十进制数字、52个大小写英文字母和34个专用符号。 在一个字节(8个Bit)中后七位用于表示字符的编码,最高位为奇偶校验位,一般作0看待。 汉字编码ASCII码只对英文字母、数字和标点符号进行了编码。 同样,要想处理汉字,也要对汉字进行统一编码,给每个汉字一个惟一的编码,我国于1980年发布了国家汉字编码标准GB2312-1990。 汉字数量庞大,用一个字节无法区分,故汉字编码采用2个字节。 一个汉字占用二个字节 一个字符占用一个字节N*N点阵的汉字所用的空间是N*N/8国标码、机内码、区位码的关系国标码=区位码+2020H机内码=国标码+8080H机内码=区位码+a0a0H计算机软硬件系统的组成及主要技术指标计算机硬件系统均由运算器、控制器、存储器、输入设备和输出设备五大部分构成运算器:算术运算和逻辑运行的实际执行部件。 控制器:统一指挥和控制计算机各部件按时序协调操作的部件中央处理器-CPU=运算器+控制器 是计算机的核心部件内部存储器按其存储信息的方式可以分为只读存储器ROM(Read Only Memory)、随机存储器RAM(Random Access Memory)和高速缓冲存储器CacheRAM:随机存储器 能读能写,断电后信息丢失DRAM:动态RAM,相当于CACHE(高速缓冲存储器)CACHE:CPU与内存之间速度不彼配的问题SRAM:静态RAMROM:只读存储器 能读不能写,断电后信息不丢失输入设备:键盘、鼠标、扫描仪、光笔输出设备:显示器、音箱、打印机、绘图仪总线:数据总线、地址总线、控制总线软件:由程序、数据和文档三部分内容组成。 程序:是一系列有序指令的 *** 。 计算机之所以能够自动而连续地完成预定的操作,就是运行特定程序的结果。计算机程序通常是由计算机语言来编制,编制程序的工作称为程序设计。 数据:指各种信息 *** ,数值的与非数值的。文档:用自然语言(汉语或英语)对程序进行描述的文本称为文档。 8.计算机等级考试都考哪些知识 看你报考几级考试了,一级分为一级MS office、一级B、一级WPS office三个科目,主要考察的是办公自动化软件的应用和计算机的一些基本知识及一些简单的电脑操作题。 二级分为二级C、C++、Vb、VB、ACCESS、JAVA、Delphi七个科目,其中VF跟ACCESS属于数据库设计,其他的属于程序设计,三级分为三级网络、三级信息管理、三级数据库、三级PC技术,四级分为四级网络工程师、四级数据库工程师、四级软件测试工程师;具体的考察知识关键要看你考哪个级别哪个科目才能具体介绍。打算考的话,资料上推荐你可以看看。
xiaoyoubaobei
选择1-5 ABBCA6-10 DCCAD11-15 DADBD16-20 CBACB21-25 ACABB26-30 ADADD31-35 AADBC36-40 CBBDA填空1 A2 framing7 s1s0 28 router ospf9 renew14 48604269519 sdh20 应用题的E1口上192 129-190224 193-222224 225-254这是我自己的看看哪位大神能帮忙看看 能不能过60谢谢啦
一杯清茶NJ
一、选择题 1~ 5 A B B D A 6~10 C C C A B11~15 D A D B D16~20 C A B C B21~25 A C A C B26~30 B D D D C31~35 A B D B C 36~40 D B B D B 二、1.[1] A [2] [3] [4] [5] 2.[6] framing [7] s1 s0 2 [8] router ospf [9] [10] . [11] [12] [13] request [14] [15] .[16] [17] [18] 图片看不太清(第二次握手的SEQ:就是第三次握手即下一条的ACK-1的值) [19] http [20] 三、1.(1) (2) (3) (4) (5) (6) 的E2 :129~190 224:193~222 224:225~254
18302209800L
参考:
反卷积也称为转置卷积,如果用矩阵乘法实现卷积操作,将卷积核平铺为矩阵,则转置卷积在正向计算时左乘这个矩阵的转置WT,在反向传播是左乘W,与卷积操作刚好相反,需要注意的是,反卷积不是卷积的逆运算。 [知乎问题+caffe实现]
实现上采样;近似重构输入图像,卷积层可视化。
只要激活函数选择得当,神经元的数量足够,至少有一个隐含层的神经网络可以 逼近闭区间上任意一个连续函数到任意指定的精度。
判别模型,直接输出类别标签,或者输出类后验概率p(y|x) [ ] [ ] [ ]
BN是在 batch这个维度上进行归一化,GN是计算channel方向每个group的均值方差.
检测结果与 Ground Truth 的交集比上它们的并集,即为检测的准确率 IoU
内存/显存占用;模型收敛速度等
Hessian矩阵是n*n, 在高维情况下这个矩阵非常大,计算和存储都是问题。
mini-batch太小会导致收敛变慢,太大容易陷入sharp minima,泛化性不好。
可以把dropout看成是 一种ensemble方法,每次做完dropout相当于从原网络中找到一个更瘦的网络。
pooling操作虽然能增大感受野,但是会丢失一些信息。空洞卷积在卷积核中插入权重为0的值,因此每次卷积中会skip掉一些像素点;
空洞卷积增大了卷积输出每个点的感受野,并且不像pooling会丢失信息,在图像需要全局信息或者需要较长sequence依赖的语音序列问题上有着较广泛的应用。
表达式为:
使用BN的原因是网络训练中每一层不断改变的参数会导致后续每一层输入的分布发生变化,而学习的过程又要使每一层去适应输入的分布,因此不得不降低网络的学习率,并且要小心得初始化(internal covariant shift) 如果仅通过归一化方法使得数据具有零均值和单位方差,则会降低层的表达能力(如使用Sigmoid函数时,只使用线性区域) BN的具体过程(注意第三个公式中分母要加上epsilon)
最好的解释是通过1 * 1卷积核能实现多个channel间的解耦合,解耦cross-channel correlation和spatial correlation。 【但是因为解耦不彻底,因此后续有了mobile net的组卷积方式和shuffle net组卷积方式】
由于 1×1 并不会改变 height 和 width,改变通道的第一个最直观的结果,就是可以将原本的数据量进行增加或者减少。改变的只是 height × width × channels 中的 channels 这一个维度的大小而已。
1*1卷积核,可以在保持feature map尺度不变的(即不损失分辨率)的前提下大幅增加非线性特性(利用后接的非线性激活函数),把网络做的很deep。
备注:一个filter对应卷积后得到一个feature map,不同的filter(不同的weight和bias),卷积以后得到不同的feature map,提取不同的特征,得到对应的specialized neuron。
例子:使用1x1卷积核,实现降维和升维的操作其实就是channel间信息的线性组合变化,3x3,64channels的卷积核后面添加一个1x1,28channels的卷积核,就变成了3x3,28channels的卷积核,原来的64个channels就可以理解为跨通道线性组合变成了28channels,这就是通道间的信息交互
注意:只是在channel维度上做线性组合,W和H上是共享权值的sliding window
并不能说明这个模型无效导致模型不收敛的原因可能有
A. 在实际场景下,应尽量使用ADAM,避免使用SGD B. 同样的初始学习率情况下,ADAM的收敛速度总是快于SGD方法 C. 相同超参数数量情况下,比起自适应的学习率调整方式,SGD加手动调节通常会取得更好效果 D. 同样的初始学习率情况下,ADAM比SGD容易过拟合
A.保证每一层的感受野不变,网络深度加深,使得网络的精度更高 B.使得每一层的感受野增大,学习小特征的能力变大 C.有效提取高层语义信息,且对高层语义进行加工,有效提高网络准确度 D.利用该结构有效减轻网络的权重
A.计算简单 B.非线性 C.具有饱和区 D.几乎处处可微 【relu函数在0处是不可微的。】
的收敛速度比RMSprop慢 B.相比于SGD或RMSprop等优化器,Adam的收敛效果是最好的 C.对于轻量级神经网络,使用Adam比使用RMSprop更合适 D.相比于Adam或RMSprop等优化器,SGD的收敛效果是最好的 【SGD通常训练时间更长,容易陷入鞍点,但是在好的初始化和学习率调度方案的情况下,结果更可靠。如果在意更快的收敛,并且需要训练较深较复杂的网络时,推荐使用学习率自适应的优化方法。】
A.使用ReLU做为激活函数,可有效地防止梯度爆炸 B.使用Sigmoid做为激活函数,较容易出现梯度消失 C.使用Batch Normalization层,可有效的防止梯度爆炸 D.使用参数weight decay,在一程度上可防止模型过拟合
对结果存疑。认为二者皆可防止。
L-BFGS(Limited-memory BFGS,内存受限拟牛顿法)方法: 所有的数据都会参与训练,算法融入方差归一化和均值归一化。大数据集训练DNN,容易参数量过大 (牛顿法的进化版本,寻找更好的优化方向,减少迭代轮数)从LBFGS算法的流程来看,其整个的核心的就是如何快速计算一个Hesse的近似:重点一是近似,所以有了LBFGS算法中使用前m个近似下降方向进行迭代的计算过程;重点二是快速,这个体现在不用保存Hesse矩阵上,只需要使用一个保存后的一阶导数序列就可以完成,因此不需要大量的存储,从而节省了计算资源;重点三,是在推导中使用秩二校正构造了一个正定矩阵,即便这个矩阵不是最优的下降方向,但至少可以保证函数下降。 FTRL(Follow-the-regularized-Leader)是一种适用于处理超大规模数据的,含大量稀疏特征的在线学习的常见优化算法,方便实用,而且效果很好,常用于更新在线的CTR预估模型;FTRL在处理带非光滑正则项(如L1正则)的凸优化问题上表现非常出色,不仅可以通过L1正则控制模型的稀疏度,而且收敛速度快;
在一定程度上解决了传统RNN梯度消失或梯度爆炸的问题 相比于全连接的优势之一是模型复杂度低,缓解过拟合 C.只要参数设置合理,深度学习的效果至少应优于随机算法 D.随机梯度下降法可以缓解网络训练过程中陷入鞍点的问题
实际上,现在有很多针对小目标的措施和改良,如下:
最常见的是Upsample来Rezie网络输入图像的大小;
用dilated/astrous等这类特殊的卷积来提高检测器对分辨率的敏感度;(空洞卷积是针对图像语义分割问题中下采样会降低图像分辨率、丢失信息而提出的一种卷积思路。利用添加空洞扩大感受野,让原本3 x3的卷积核,在相同参数量和计算量下拥有5x5(dilated rate =2)或者更大的感受野,从而无需下采样。在保持参数个数不变的情况下增大了卷积核的感受野)
有比较直接的在浅层和深层的Feature Map上直接各自独立做预测的,这个就是我们常说的尺度问题。
用FPN这种把浅层特征和深层特征融合的,或者最后在预测的时候,用浅层特征和深层特征一起预测;
SNIP(Scale Normalization for Image Pyramids)主要思路:
在训练和反向传播更新参数时,只考虑那些在指定的尺度范围内的目标,由此提出了一种特别的多尺度训练方法。
优质工程师考试问答知识库