Hugging Face 开源库介绍

Hugging Face 的开源生态今年成长迅速,timm 成为新加入的成员、diffusers、evaluate 以及 skops 等各种库蓬勃发展。

? Transformers

? Transformers 提供了一系列的 API 和工具,使用者可以轻松下载和训练 SOTA 预训练模型,支持 PyTorch、TensorFlow 和 JAX,并支持框架之间的互操作。模型还可以导出为 ONNX 和 TorchScript 等格式,以方便在生产环境中部署。

查看文档: http://hf.co/docs/transformers

? Datasets 库

只需一行代码,即可轻松加载各种数据集,? Datasets 库可以帮你轻松访问和共享音频、计算机视觉和自然语言处理等任务的数据集。借助 Apache Arrow 格式的支持,你可以零拷贝读取和处理大型数据集,? Datasets 库还与 Hugging Face Hub 深度集成,你可以便捷的加载数据集并于更广泛的机器学习社区成员们共享。

查看文档:http://hf.co/docs/datasets

? Diffusers

? Diffusers 是一个操作扩散模型的工具箱,它可以非常方便的使用各种扩散模型生成图像、音频,也可以非常方便的使用各种噪声调度器,用于调节在模型推理中的速度和质量,同时,这个库也支持多种类型的模型。

查看文档:http://hf.co/docs/diffusers

? Accelerate 库

只需添加四行代码,你就可以通过 ? Accelerate 库在任何类型的设备上运行原本的 PyTorch 训练脚本代码。?Accelerate 只将与多 GPU/TPU/fp16 相关的样板代码抽象出来,其余代码不变。

查看文档:http://hf.co/docs/accelerate

? Optimum

? Optimum 是 ? Transformers 的扩展,它提供了一组性能优化工具,可以在特定的目标硬件上以最高效率训练和运行模型。

查看文档:http://hf.co/docs/optimum

timm (pytorch-image-models)

PyTorch Image Models (timm) 是一个深度学习库,包含图像模型、优化器、调度器、增强等的集合以及训练 / 验证脚本。

查看文档:http://hf.co/docs/timm

本文转载于网络 如有侵权请联系删除

相关文章

  • 电脑外设(I/O)简介:显示器

    显示器(display)通常也被称为监视器。属于电脑的I/O设备,即输入输出设备。它是一种将一定的电子文件通过特定的传输设备显示到屏幕上再反射到人眼的显示工具。前言显示器作为电脑的必备外设,也是最复杂的外设,这期我就给大家介绍一下显示器。一、分类显示器种类繁多,根据制造材料的不同,可分为:阴极射线管显示器(CRT),液晶显示器LCD,发光二极管显示器LED,等等。1.1CRT显示器是一种使用阴极射线管(CathodeRayTube)的显示器,以前那种老式电视机用的就是这种显示器,这种显示器占用空间比较大,现在基本上不用了。1.2LCD(液晶)显示器属于平面超薄的显示设备,便以为其机身薄,占地小,辐射小,就将它定义为健康产品。它不一定可以保护到眼睛,如果你有一个好习惯,那自然没问题。这类显示器目前非常受欢迎,电脑使用的大部分是这种产品。1.3LED(发光二极管)显示器可用来显示文字、图形、图像、动画、行情、视频、录像信号等各种的信息。LED显示器广泛应用于大型广场、商业广告、体育场馆、信息传播、新闻发布、证券交易等。二、参数指标显示器的参数包括像素点距、分辨率、扫描频率、刷新速度、功耗、

  • 配置全新✨或重装后?的 Macbook 不完全指南(前端向)

    俗话说,工欲善其事,必先利其器。当你拿到一台新的Macbook,或者是不小心弄崩了老的Macbook需要重装系统???,那怎样快速配置好一台新Macbook呢?说实话,从头开始配置环境是比较花时间的,因为中间可能会有不少的坑。这篇文章总结了我自己因升级系统弄崩若干次Macbook的配置经验,希望能给大家避坑,也是怕我下次手抖点升级系统再次弄崩Macbook时,能快速把机器配置到好用的状态开始干活搬砖?。FirstOfAll,备份重要数据和及时push代码非常非常重要。 Shell(BashorZSH),Git以及Curl安装好bash(zsh),git以及curl是后续步骤的前提条件。Macbook一般内置了zsh,但还需要额外安装CommandLineTools(CLT)forXcode。有两种安装方法:通过命令行xcode-select--install安装访问苹果的开发者下载中心,找到CommandLineToolsforXcode13.1ReleaseCandidate,点击下载安装Itemr2,ohmyzsh&autojump虽然Macbook自带了Terminal工

  • 工程师的思维转变

    这几天浏览论坛看到一个帖子。如醍醐灌顶,解开了很多之前想不明白的问题。知识体系到思维体系我之前写过一个《早点建立自己的知识体系》,现在看来原来我只在第一层,更上一层的应该是思维体系的建立。首先明白一个问题,你工作到底是在追求什么?前几天在公司的调查问卷上,我写了我工作的目的,获取尊重和认同感,创造价值以及获取丰厚的报酬。那么各位在工作的时候是在追求什么?你追求的东西就会指导你的工作实践。其次我们有没有自己的工作方法论,具体点说,我们有没有形成自己的学习框架和通用能力。第一部分是我们面对新事物、新东西时快速学习的前提,第二部分是我们除了技术以外的软素质比如:学习总结、沟通表达、逻辑思维。自我驱动,形成核心竞争力很多新入职场的同学,主动性太差。如果一件事情不归你管,那么如果有一个主动去做,主动承担。你怎么看?有相当一部分同学,大概会这么想:手伸太长了,也太卷了,我只想躺平。或者是这种脏活累活我不想做,跟我没关系。一个组织内的新人想获得信任、建立个人品牌的最好时机就是第一件事或者平时的表现。做事认真一点、积极主动一点、考虑的更深入全面一点,你已经比70-80%的同学好了,这样你就成为一个&q

  • 深入理解Netty---从偶现宕机看Netty流量控制

    一、业务背景目前移动端的使用场景中会用到大量的消息推送,push消息可以帮助运营人员更高效地实现运营目标(比如给用户推送营销活动或者提醒APP新功能)。对于推送系统来说需要具备以下两个特性:消息秒级送到用户,无延时,支持每秒百万推送,单机百万长连接。支持通知、文本、自定义消息透传等展现形式。正是由于以上原因,对于系统的开发和维护带来了挑战。下图是推送系统的简单描述(API->推送模块->手机)。二、问题背景推送系统中长连接集群在稳定性测试、压力测试阶运行一段时间后随机会出现一个进程挂掉的情况,概率较小(频率为一个月左右发生一次),这会影响部分客户端消息送到的时效。推送系统中的长连接节点(Broker系统)是基于Netty开发,此节点维护了服务端和手机终端的长连接,线上问题出现后,添加Netty内存泄露监控参数进行问题排查,观察多天但并未排查出问题。由于长连接节点是Netty开发,为便于读者理解,下面简单介绍一下Netty。三、 Netty介绍Netty是一个高性能、异步事件驱动的NIO框架,基于JavaNIO提供的API实现。它提供了对TCP、UDP和文件传输的支持,作为当

  • 迁移学习简介

    介绍人类从小就在日常活动中成长和学习。人类通过学习一项任务来获取知识。通过使用相同的知识,我们倾向于解决相关的任务。在实时场景中知道如何骑自行车⮫学习如何骑摩托车知道如何弹奏古典钢琴⮫学习如何弹奏爵士钢琴了解数学和统计学⮫学习机器学习机器学习中的迁移学习传统的ML用于为提供的每个任务/域创建单独的模型。没有保存模型的知识库。迁移学习过去有一个知识库来存储针对特定任务/领域训练/利用的模型。此外,我们可以使用相同的知识来训练新模型。为了更好地理解,请考虑将这两个可能的场景实现为 在餐馆的限定区域内识别图像中的物体,例如T1从公园或café的图像中检测物体,例如T2让我们使用传统的ML开始执行任务,我们需要创建两个模型,即ModelA和ModelB。其中ModelA用于实现任务T1,ModelB用于实现任务T2。最后,利用A和B各自的模型,可以根据业务需求检测出对象。好吧!!如果我们采用迁移学习方法,下面的方法将会实现。如果我们开始执行任务T1,使用深度学习(TFOD,CV2等)来创建新模型,检测餐厅中的对象,最后将模型保存到知识库中。为了实现任务T2,我们不需要创建另一个新模型,而是从知

  • 二,EAIDK-310板载硬件资源介绍

    EAIDK-310概述EAIDK(EmbeddedAIDevelopmentKit),是以ArmSoC为硬件平台、Tengine(Arm中国周易平台)为核心的人工智能基础软件平台AID、集成典型应用算法,所形成的“软硬一体化”的AI开发套件;是专为AI开发者精心打造,面向边缘计算的人工智能开发套件。硬件平台具备语音、视觉等传感器数据采集能力,及适用于多场景的运动控制接口。软件平台支持视觉处理与分析、语音识别、语义分析、SLAM等应用和主流开源算法,满足AI教育、算法应用开发、产品原型开发验证等需求。EAIDK-310是EAIDK产品系列中第二款套件,主芯片采用具备主流性能ArmSoC的RK3228H,搭载OPENAILAB嵌入式AI开发平台AID(包含支持异构计算库HCL、嵌入式深度学习框架Tengine、以及轻量级嵌入式计算机视觉加速库BladeCV)。为AI应用提供简洁、高效、统一的API接口,加速终端AI产品的场景化应用落地。1硬件总览EAIDK-310正面如图EAIDK-310背面如图2调试接口开发板提供调试串口供开发调试使用。调试串口连接主控的UART2接口,通过板上提供的T

  • 206 反转链表

    01题目信息题目地址: https://leetcode-cn.com/problems/reverse-linked-list/submissions/反转一个单链表。示例:输入:1->2->3->4->5->NULL 输出:5->4->3->2->1->NULL 复制进阶:你可以迭代或递归地反转链表。你能否用两种方法解决这道题? 02解法一:迭代反转一个链表和数组是不一样的,因为不能任意取值,只能说按照next的顺序依次往后放。那么把一个节点往后放的过程就是一次迭代我们要迭代的有两个值,第一个不用说是当前节点cur每次迭代完它要换成原链表的下一个,第二个是转换过去的next,它是上一个当前节点。publicListNodereverseList(ListNodehead){ ListNodecur=head; ListNodenext=null; while(cur!=null){ //记住原链表的下一个 ListNodetemp=cur.next; //设下next cur.next=next; //更新next与cu

  • iOS 14 这个新功能究竟是干嘛的?应不应该“允许”?

    相信大家对这个权限有很多疑问:本地网络权限是什么?为什么要对它做出限制?以及哪些应用真的需要这个权限?这三个问题将在本文里得到解答。iOS开发交流技术群:[563513413](https://jq.qq.com/?_wv=1027&k=lzJejkSl),不管你是大牛还是小白都欢迎入驻,本地网络权限是什么,为什么要限制?本地网络(局域网)本地网络也叫局域网,是将设备接入路由器以后形成的网络,设备可以通过这张网络互相通信,让你可以在手机上将歌曲从无线音响里播放出来,在公司用公共打印机打印文档,在朋友家一起用Switch联机打游戏。从iOS13开始,应用想要获得当前连接到的Wi-Fi名称,那就必须要获得定位权限。因为通过识别Wi-Fi名称,应用就能轻松地在你和周围的人之间建立大数据网络。但是不给定位权限不代表应用就没有办法跟踪你了,因为应用可以通过本地网络里的设备进行跟踪。可以通过MAC地址识别特定的局域网在过去的iOS版本中,应用可以随意扫描本地网络中的设备,因此应用就可以很轻松地得到本地网络里所有设备的名称和MAC地址。MAC地址是一种确认网络设备位置的地址,每个网卡都有一个

  • A3第三章第1节For循环入门

    A3第三章第1节For循环入门第1节 for(初始化表达式;循环条件表达式;循环后的操作表达式) { //循环体语句; }最开始先执行“初始化表达式”(只是执行一次),然后循环执行:先判断“循环条件表达式”。如果为ture。则执行“循环体语句”,然后执行循环后的操作表达A3第三章第3节For循环案例:1加到n(震撼的算法)第3节 方法1: intn=Console.ToInt32(textBox1.Text);//普通方法 intsum=0; for(inti=1;i<=n;i++) { sum=sum+i; } MessageBox.Show(sum.ToString());//时间复杂度为O(n) MessageBox.Show(convert.ToString(sum));//另一种写法 方法2: intsum=n*(n+1)/2;//时间复杂度为O(1)//面试经常考试 MessageBox.Show(sum.ToString());A3第三章第5节while循环第5节 while(条件表达式) { 循环体; i++;//循环后的操作表达式 }每次

  • Scala-3.控制结构-for

    for和foreach语句for循环scala>for(i<-1to5)println(i) 1 2 3 4 5复制for循环中返回值用yeild/for组合scala>valevens=for(i<-1to5)yieldi*2 evens:scala.collection.immutable.IndexedSeq[Int]=Vector(2,4,6,8,10)复制for循环计数器scala>vala=Array("Apple","banana") scala>for(i<-0untila.length){println(s"$iis${a(i)}")} 0isApple 1isbanana复制zipWithIndex:scala>for((e,count)<-a.zipWithIndex){ |println(s"$countis$e") |} 0isApple 1isbanana复制foreachscala>a.foreach(println)

  • zip、unzip 常用命令

    zip常用命令使用zip-help查看全部命令用法,这里列出常用项目命令作用-r递归目录(压缩目录下所有子文件)-q静默操作(无压缩过程日志)-o使zipfile最后修改时间为最新时间-m将被压缩文件移动到zipfile(相当于删除原文件)-e加密-T测试zipfile完整性unzip常用命令使用unzip-help查看全部命令用法,这里列出常用项目命令作用-d解压文件到指定目录-o覆盖同名文件并且不提示-t测试档案数据-j直接解压到当前目录(不创建文件夹)-n不覆盖已存在同名文件

  • 开源|MultiNet模型解决Kitti数据集自动驾驶中的道路分割、车辆检测和街道分类(附源代码)

    文章来源:GitHub作者:MarvinTeichmann翻译:张妮娜MultiNet模型分析MultiNet能够同时完成道路分割、汽车检测和道路分类的任务。MultiNet模型的实时存档速度和分割性能都处于最先进水平。详细的模型描述请查阅我们的论文。优化后的MultiNet模型在实时速度下表现良好,其要素KittiSeg在道路分割方面设置了一项新的最先进技术,而另一要素KittiBox在推理速度和检测性能上对基线Faster-RCNN进行了改进。该模型被设计为encoder-decoder架构,在每项任务中使用一个VGG编码器和几个独立解码器。此存储库包括允许在一张网络中将几个tensorflow模型的通用代码组合在一起,不可视任务的代码由KittiSeg、KittiBox和KittiClass存储库提供,这些存储库在该项目中作为子模块。该项目的构建旨在与TensorVision后端兼容,后端能够以十分简洁的方式组织实验。要求代码需要Tensorflow1.0版本以及以下python库:matplotlibnumpyPillowscipyruncython这些模块可以通过以下代码进行

  • 第七天 自定义数据类型ArrayList集合【悟空教程】

    第07天自定义数据类型、Arraylist集合第1章自定义数据类型1.1自定义数据类型概述任何编程语言都需要将现实生活中的事物抽象成代码。这时可以使用自定义的数据类型(类)来描述(映射)现实事物。类就是数据类型,与之前学习的所有引用数据类型相同,自定义类也是一种数据类型。只是自定义类型并非Java为我们预先提供好的类型,而是我们自己定义的一种引用数据类型用来描述一个事物。1.2类的定义及使用1.2.1类的定义格式及使用格式代码映射现实事物的过程就是定义类的过程。每个成员变量与要描述的事物属性变量名对应,数据类型对应。这时,我们便可以将一个事物的多个属性值组织成一个完整的事物作为操作单位。a)类的定义格式创建文件,与类名相同publicclass类名{数据类型属性名称;数据类型属性名称2;…}如:classPerson{Stringname;intage;…}b)类的使用格式类在定义出来之后,必须被使用,不使用虽然没有语法错误,但是没有意义。自定义类的使用方式与以往的引用数据类型完全相同,如下:导包:我们将所有的类放到同一个文件夹下,可以避免导包。创建对象:数据类型变量名=new数据类型

  • Stanford机器学习笔记-4. 神经网络Neural Networks (part one)

    4.NeuralNetworks(partone)Content:  4.NeuralNetworks(partone)     4.1Non-linearClassification.    4.2NeuralModel(神经元模型)    4.3ForwardPropagation    4.4神经网络实现与或非门以及异或门      4.4.1实现与或非门(AND/OR/NOT)       4.4.2实现异或/同或门(XOR/XNOR)     4.5Multi-classclassificationkeywords:Neuralnetworks,Neuralmodel,ForwardPropagation4.1Non-linearClassification对于非线性的分类问题(如图4-1所示的非线性0-1分类问题),在特征量较少的情况,我们可以用多项式类型的Logistic回归来处理。但是一旦特征量较多,多项式的Logistic回归就会很困难。因为如果问题原有n个特征量,采用二次多项式特征量个数约等于(n^2)/2,也就是O(n^2),而用三次多项式特征量的个数更是O(n^

  • Struts2框架的基本使用(二)

         上一篇Struts2框架的基本使用我们限于篇幅,最后简单介绍了Action的配置问题,本篇接着介绍有关框架的一些其他基本用法,主要内容如下:Action的基本配置result的基本配置Struts的异常处理机制Convention插件于“约定”的支持一、Action的基本配置      上篇文章我们简单的看了Struts.xml中的package包元素的一些属性的使用情况,接下来我们看看Action的元素的一些属性及其使用情况。依然是上篇的Struts.xml文件。<?xmlversion="1.0"encoding="UTF-8"?> <!DOCTYPEstrutsPUBLIC "-//ApacheSoftwareFoundation//DTDStrutsConfiguration2.3//EN" "http://struts.apache.org/dtds/struts-2.3.dtd"> <struts> <packagename="wa

  • .NET之默认依赖注入

    介绍 不要依赖于具体的实现,应该依赖于抽象,高层模块不应该依赖于底层模块,二者应该依赖于抽象。简单的说就是为了更好的解耦。而控制反转(Ioc)就是这样的原则的其中一个实现思路,这个思路的其中一种实现方式就是依赖注入(DI)。ASP.NETCore内置有对依赖注入(DI)的支持,开发者只需要定义好接口后,在Startup.cs的ConfigureServices方法里使用对应生命周期的绑定方法即可。 只要是用new实例化的都是存在依赖的。 生命周期 AddSingleton→AddTransient→AddScoped Singleton(单例) 服务在第一次请求时被创建(或者当我们在ConfigureServices中指定创建某一实例并运行方法),其后的每次请求将沿用已创建服务。如果开发者的应用需要单例服务情景,请设计成允许服务容器来对服务生命周期进行操作,而不是手动实现单例设计模式然后由开发者在自定义类中进行操作。 图片来源自:https://blog.csdn.net/weixin_47498376/article/details/116177389 services.A

  • 帝国CMS灵动标签调用多表多模型调用内容

    1、调用多模型的最新文章 [e:loop={'select*from( selectid,classid,titleurl,filename,title,newstime,titlepicfromphome_ecms_moviewherenewstimeunion selectid,classid,titleurl,filename,title,newstime,titlepicfromphome_ecms_newswherenewstimeunion selectid,classid,titleurl,filename,title,newstime,titlepicfromphome_ecms_photowherenewstimeunion selectid,classid,titleurl,filename,title,newstime,titlepicfromphome_ecms_flashwherenewstimeunion selectid,classid,titleurl,filename,title,newstime,titlepicfromphome_ecm

  • 英文翻译1

    SewerrobotsdeployedinWuhan ByLiuKuninWuhan|ChinaDaily|Updated:2016-11-2117:28   Phototaken onNov15shows thesewerrobotbeingdeployedinWuhan,capitalofHubeiprovince.[PhotobyLiHui/chinadaily.com.cn]   Wuhan,capitalofHubeiprovince,hasstartedtouserobotstoinspectthecity'sundergroundsewernetwork. Thecity'swateraffairsauthorityusedtosendworkersdowntoinspectundergroundpipes,butsomearenotlargeenough,makinginternalinspectionimpossible.Inothercases,thereispoisonousgasinthepipes

  • ajax跨域请求调用webservice接口

    1.WebService接口编写 步骤:新建web项目=》添加webservice=》编写方法接口=》然后发布(本地测试可以直接把这个webservice运行起来)。 关键如何让外部Ajax调用。 首先,配置WebService项目配置文件(web.config)红色部分必须配置,这样第三方才能调用接口方法(经测试通过,直接粘贴就ok),不懂可以百度。   <configuration> <system.web> <webServices> <protocols> <addname="HttpSoap"/> <addname="HttpPost"/> <addname="HttpGet"/> <addname="Documentation"/> </protocols> </webServices> <compilationdebug="true"targetFramework="4.0"/> </system.web> <s

  • html自定义checkbox、radio、select —— select篇

    上一篇《html自定义checkbox、radio、select——checkbox、radio篇》介绍了我们是怎么将html自带的 checkbox、radio改成我们自定义的UI的,现在来说说怎么将html自带的select改成我们自定义的UI(由于时间关系,我们只完成了单选部分的转换,而多选部分的转换没做,后续会找个时间补上)。   select跟checkbox、radio方法大致相同。在Bootstrap中,有一个"按钮式下拉菜单"的组件,我们是在这个基础上进行修改的。 效果:         结构大致是: <div>   <button>   <ul> </div> <select>   其中,<div>包住的就是展示出来的UI,<button>是正常情况下显示的,<ul>是各个选项,<select>是隐藏的。   首先,<

  • 在gulp中使用vue多页面开发

      页面html <!DOCTYPEhtml> <htmllang="zh-CN"> <head> <metacharset="UTF-8"/> <metahttp-equiv="X-UA-Compatible"content="IE=Edge,chrome=1"/> <metahttp-equiv="Cache-Control"content="no-transform"/> <metahttp-equiv="Cache-Control"content="no-siteapp"/> <metaname="renderer"content="webkit"/> <title>首页——留学国家</title> <metaname="keywords"content="keywords"/> <linkrel="stylesheet"href="./js/lib/flexible/flexible.css"/> <scripts

相关推荐

推荐阅读