pytorch常见的Tensor类型详解
本文向大家介绍pytorch常见的Tensor类型详解,包括了pytorch常见的Tensor类型详解的使用技巧和注意事项,需要的朋友参考一下
Tensor有不同的数据类型,每种类型分别有对应CPU和GPU版本(HalfTensor除外)。默认的Tensor是FloatTensor,可通过torch.set_default_tensor_type修改默认tensor类型(如果默认类型为GPU tensor,则所有操作都将在GPU上进行)。
Tensor的类型对分析内存占用很有帮助,例如,一个size为(1000,1000,1000)的FloatTensor,它有1000*1000*1000=10^9个元素,每一个元素占用32bit/8=4Byte内存,所以共占用大约4GB内存/显存。HalfTensor是专为GPU版本设计的,同样的元素个数,显存占用只有HalfTensor的一半,所以可以极大缓解GPU显存不足的问题,但是由于HalfTensor所能表示的数值大小和精度有限,所以可能出现溢出等问题。
数据类型 | CPU Tensor | GPU Tensor |
32 bit 浮点 | torch.FloatTensor | torch.cuda.FloatTensor |
64 bit 浮点 | torch.DoubleTensor | torch.cuda.DoubleTensor |
16 bit 半精度浮点 | N/A | torch.cuda.HalfTensor |
8 bit 无符号整形(0~255) | torch.ByteTensor | torch.cuda.ByteTensor |
8 bit 有符号整形(-128~127) | torch.CharTensor | torch.cuda.CharTensor |
16 bit 有符号整形 | torch.ShortTensor | torch.cuda.ShortTensor |
32 bit 有符号整形 | torch.IntTensor | torch.cuda.IntTensor |
64 bit 有符号整形 | torch.LongTensor | torch.cuda LongTensor |
各数据类型之间可以互相转换,type(new_type)是通用的做法,同时还有float、long、half等快捷方法。CPU tensor和GPU tensor之间的互换是通过tensor.cuda和tensor.cpu的方法实现。
如:
#设置默认tensor,注意参数是字符串 torch.set_default_tensor_type('torch.IntTensor') a=torch.Tensor(2,3) print(a) #a现在是IntTensor
以上这篇pytorch常见的Tensor类型详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持呐喊教程。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:notice#yiidian.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。