D3D三层Texture纹理经像素着色器实现渲染YUV420P

简单记录一下这两天用Texture实现渲染YUV420P的一些要点。

在视频播放的过程中，有的时候解码出来的数据是YUV420P的。表面（surface）通过设置参数是可以渲染YUV420P的，但Texture纹理似乎不支持直接渲染YUV420P。表面（surface）用法似乎比较单一，通常用来显示数据，用Texture的话就可以用上D3D的许多其他功能，做出一些效果。当然，这看个人需求，通常而言显示视频数据用表面就够了。

1.利用像素着色器把YUV420P数据转为RGB32

视频播放过程中帧与帧之间是有固定时间间隔的。若解码解出来的是YUV420P的数据，要用Texture渲染的话，就需要把数据转为RGB32的（应该是要转成RGB32的，没做过详细调查，看到的例子中纹理所用的数据都是RGB32的），如果这个过程交给CPU去做的话，会提高CPU的占用率，用GPU来做这项工作则就释放了CPU的一部分压力。

本文考虑的方式是用三层纹理分别存放YUV420P的Y、U、V分量（这个词不知道用对没有），然后像素着色器把三个分量的数据计算成RGB32的数据然后显示。这是本文的核心内容。

像素着色器的HLSL代码如下：

sampler YTex;
sampler UTex;
sampler VTex;

struct PS_INPUT
{
    float2 y    : TEXCOORD0;
    float2 u    : TEXCOORD1;
    float2 v    : TEXCOORD2;
};

float4 Main(PS_INPUT input):COLOR0
{
    float y = tex2D(YTex,input.y).r;
    float u = tex2D(UTex, input.u.xy / 2).r  - 0.5f;
    float v = tex2D(VTex,input.v.xy / 2).r  - 0.5f;            

    float r = y + 1.14f * v;
    float g = y - 0.394f * u - 0.581f * v;
    float b = y + 2.03f * u;

    return float4(r,g,b, 1);
}

HLSL代码可以直接写在txt文件中，sampler可视作标识纹理层和采样级的对象，Direct3D将把每一个sampler对象唯一地与某一纹理层关联起来。具体的HLSL语法请自行查资料，我也是粗略知道是怎么回事，就不误人子弟了。在代码中通过调用D3DXCompileShaderFromFile函数可以从文件编译像素着色器。但实际上，我个人不是很喜欢这种把代码放在一个单独文件里面的做法，这种代码应该尽可能的编进exe里面。但是我还只是初步了解D3D，不知道怎么把它编进exe里面，如果有人知道，还望指教。

ID3DXBuffer* shader      = 0;
ID3DXBuffer* errorBuffer = 0;

hr = D3DXCompileShaderFromFile(
    "ps_multitex.txt",
    0,
    0,
    "Main", // entry point function name
    "ps_2_0",
    D3DXSHADER_DEBUG,
    &shader,
    &errorBuffer,
    &MultiTexCT);

// output any error messages
if( errorBuffer )
{
    ::MessageBox(0, (char*)errorBuffer->GetBufferPointer(), 0, 0);
    d3d::Release<ID3DXBuffer*>(errorBuffer);
}

if(FAILED(hr))
{
    ::MessageBox(0, "D3DXCompileShaderFromFile() - FAILED", 0, 0);
    return false;
}

//
// Create Pixel Shader
//
hr = Device->CreatePixelShader(
    (DWORD*)shader->GetBufferPointer(),
    &MultiTexPS);

if(FAILED(hr))
{
    ::MessageBox(0, "CreateVertexShader - FAILED", 0, 0);
    return false;
}

d3d::Release<ID3DXBuffer*>(shader);

以上代码中，D3DXCompileShaderFromFile函数从文件ps_multitex.txt编译HLSL代码；参数Main是HLSL代码的入口函数，如上一点代码中所见。这个入口函数可以是自定义的其他的，但要注意保持一致；ps_2_0表示像素着色器的版本。CreatePixelShader函数创建像素着色器。

2.sampler与纹理关联

创建纹理层。本文实现YUV420P渲染的方法采用了三层纹理，每层纹理分别存放Y、U、V数据。

Device->CreateTexture ( Width, Height, 1, D3DUSAGE_DYNAMIC, D3DFMT_L8, D3DPOOL_DEFAULT, &YTex, NULL ) ;
Device->CreateTexture ( Width / 2, Height / 2, 1, D3DUSAGE_DYNAMIC, D3DFMT_L8, D3DPOOL_DEFAULT, &UTex, NULL ) ;
Device->CreateTexture ( Width / 2, Height / 2, 1, D3DUSAGE_DYNAMIC, D3DFMT_L8, D3DPOOL_DEFAULT, &VTex, NULL ) ;

sampler与纹理的关联

//
// Get Handles
//

YTexHandle      = MultiTexCT->GetConstantByName(0, "YTex");
UTexHandle        = MultiTexCT->GetConstantByName(0, "UTex");
VTexHandle        = MultiTexCT->GetConstantByName(0, "VTex");

//
// Set constant descriptions:
//

UINT count;

MultiTexCT->GetConstantDesc(YTexHandle,      &YTexDesc, &count);
MultiTexCT->GetConstantDesc(UTexHandle, &UTexDesc, &count);
MultiTexCT->GetConstantDesc(VTexHandle,    &VTexDesc, &count);

MultiTexCT->SetDefaults(Device);

设置纹理/sampler的状态，这一部分我是在渲染的时候做的，也可以直接写在HLSL代码中。在后面渲染部分还会见到这些代码，其实是同一段代码，我只是为了表述纹理与sampler关联的一个整体过程，把它预先从渲染部分截了出来，希望不会造成误解。

// Y tex
Device->SetTexture(     YTexDesc.RegisterIndex, YTex);
Device->SetSamplerState(YTexDesc.RegisterIndex, D3DSAMP_MAGFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(YTexDesc.RegisterIndex, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(YTexDesc.RegisterIndex, D3DSAMP_MIPFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(YTexDesc.RegisterIndex, D3DSAMP_ADDRESSU, D3DTADDRESS_BORDER);
Device->SetSamplerState(YTexDesc.RegisterIndex, D3DSAMP_ADDRESSV, D3DTADDRESS_BORDER);

// U tex
Device->SetTexture(     UTexDesc.RegisterIndex, UTex);
Device->SetSamplerState(UTexDesc.RegisterIndex, D3DSAMP_MAGFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(UTexDesc.RegisterIndex, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(UTexDesc.RegisterIndex, D3DSAMP_MIPFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(UTexDesc.RegisterIndex, D3DSAMP_ADDRESSU, D3DTADDRESS_BORDER);
Device->SetSamplerState(UTexDesc.RegisterIndex, D3DSAMP_ADDRESSV, D3DTADDRESS_BORDER);

// string tex
Device->SetTexture(     VTexDesc.RegisterIndex, VTex);
Device->SetSamplerState(VTexDesc.RegisterIndex, D3DSAMP_MAGFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(VTexDesc.RegisterIndex, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(VTexDesc.RegisterIndex, D3DSAMP_MIPFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(VTexDesc.RegisterIndex, D3DSAMP_ADDRESSU, D3DTADDRESS_BORDER);
Device->SetSamplerState(VTexDesc.RegisterIndex, D3DSAMP_ADDRESSV, D3DTADDRESS_BORDER);

3.渲染YUV420P

获得YUV420P数据。本文直接读取的YUV420P数据。

打开文件代码：

if((infile=fopen("test_yuv420p_320x180.yuv", "rb"))==NULL){
    printf("cannot open this file\n");
    return false;
}

读取数据并将数据copy到纹理中：

if (fread(buf, 1, Width*Height*3/2, infile) != Width*Height*3/2){
        // Loop
        fseek(infile, 0, SEEK_SET);
        fread(buf, 1, Width*Height*3/2, infile);
    }

//
// Render
//

Device->Clear(0, 0, D3DCLEAR_TARGET | D3DCLEAR_ZBUFFER, 0xffffffff, 1.0f, 0);

plane[0] = buf;
plane[1] = plane[0] + Width*Height;
plane[2] = plane[1] + Width*Height/4;

D3DLOCKED_RECT d3d_rect;
byte *pSrc = buf;
//Locks a rectangle on a texture resource.
//And then we can manipulate pixel data in it.
LRESULT lRet = YTex->LockRect(0, &d3d_rect, 0, 0);
if (FAILED(lRet)){
    return false;
}
// Copy pixel data to texture
byte *pDest = (byte *)d3d_rect.pBits;
int stride = d3d_rect.Pitch;
for(int i = 0;i < Height;i ++){
    memcpy(pDest + i * stride,plane[0] + i * Width, Width);
}

YTex->UnlockRect(0);

D3DLOCKED_RECT d3d_rect1;
lRet = UTex->LockRect(0, &d3d_rect1, 0, 0);
if (FAILED(lRet)){
    return false;
}
// Copy pixel data to texture
byte *pDest1 = (byte *)d3d_rect1.pBits;
int stride1 = d3d_rect1.Pitch;
for(int i = 0;i < Height/2;i ++){
    memcpy(pDest1 + i * stride1 / 2,plane[1] + i * Width / 2, Width / 2);
}

UTex->UnlockRect(0);

D3DLOCKED_RECT d3d_rect2;
lRet =  VTex->LockRect(0, &d3d_rect2, 0, 0);
if (FAILED(lRet)){
    return false;
}
// Copy pixel data to texture
byte *pDest2 = (byte *)d3d_rect2.pBits;
int stride2 = d3d_rect2.Pitch;
for(int i = 0;i < Height/2;i ++){
    memcpy(pDest2 + i * stride2 / 2,plane[2] + i * Width / 2, Width / 2);
}

VTex->UnlockRect(0);

渲染：

Device->BeginScene();

Device->SetPixelShader(MultiTexPS);
Device->SetFVF(MultiTexVertex::FVF);
Device->SetStreamSource(0, QuadVB, 0, sizeof(MultiTexVertex));

// Y tex
Device->SetTexture(     YTexDesc.RegisterIndex, YTex);
Device->SetSamplerState(YTexDesc.RegisterIndex, D3DSAMP_MAGFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(YTexDesc.RegisterIndex, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(YTexDesc.RegisterIndex, D3DSAMP_MIPFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(YTexDesc.RegisterIndex, D3DSAMP_ADDRESSU, D3DTADDRESS_BORDER);
Device->SetSamplerState(YTexDesc.RegisterIndex, D3DSAMP_ADDRESSV, D3DTADDRESS_BORDER);

// U tex
Device->SetTexture(     UTexDesc.RegisterIndex, UTex);
Device->SetSamplerState(UTexDesc.RegisterIndex, D3DSAMP_MAGFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(UTexDesc.RegisterIndex, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(UTexDesc.RegisterIndex, D3DSAMP_MIPFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(UTexDesc.RegisterIndex, D3DSAMP_ADDRESSU, D3DTADDRESS_BORDER);
Device->SetSamplerState(UTexDesc.RegisterIndex, D3DSAMP_ADDRESSV, D3DTADDRESS_BORDER);

// string tex
Device->SetTexture(     VTexDesc.RegisterIndex, VTex);
Device->SetSamplerState(VTexDesc.RegisterIndex, D3DSAMP_MAGFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(VTexDesc.RegisterIndex, D3DSAMP_MINFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(VTexDesc.RegisterIndex, D3DSAMP_MIPFILTER, D3DTEXF_LINEAR);
Device->SetSamplerState(VTexDesc.RegisterIndex, D3DSAMP_ADDRESSU, D3DTADDRESS_BORDER);
Device->SetSamplerState(VTexDesc.RegisterIndex, D3DSAMP_ADDRESSV, D3DTADDRESS_BORDER);

Device->DrawPrimitive(D3DPT_TRIANGLELIST, 0, 2);

Device->EndScene();
Device->Present(0, 0, 0, 0);

D3D Texture纹理渲染YUV420P的主要就是以上一些内容。完整工程代码：http://download.csdn.net/download/qq_33892166/9702415

本文的HLSL代码写出来的像素着色器画面有些偏黄，知道如何优化的朋友还请指教。

时间： 2024-04-18 06:39:45

D3D三层Texture纹理经像素着色器实现渲染YUV420P的相关文章

HLSL像素着色器

原文:HLSL像素着色器 昨日不可追,?今日尤可为.勤奋,炽诚,不忘初心 手机淘宝二维码?扫描?????? 或者打开连接:程序设计开发?,掌声鼓励,欢迎光临. ? ? 像素着色器替代了固定渲染管线的?多纹理化?阶段(书上说的) 这是片面的,不完善的,??其实像素着色器,只要渲染到屏幕上,那就有像素这个东西,就要有像素着色器. 实现步骤: 1.编写和编译像素着色器文件 2.创建像素着色器 3.设置像素着色器 //文本文件代码 //--------------------------begim ps

Direct2D 1.1 开发笔记 特效篇(三) 简单的像素着色器特效

(转载请注明出处) 这次我们实现一个自定义的转变. 实现Direct2D 自定义转变Shader Models需要HLSL(High Level Shading Language)的实现. HLSL是Shader的一种实现,但是HLSL只能在D3D中使用,所以有点蛋疼. Shader被描述为显卡执行的小段程序,能够高效(并行)地执行. 没学过?没关系,笔者也没有,但是详细的不会在这里说明(你TM逗我(╯‵□′)╯︵┴─┴),请到官网中看看. D2D 特效能用 HLSL 的  4.0 及其以上版本

unity shader 学习 （2）Vs【顶点着色器】 和 Ps【像素着色器】

上一章我写了渲染管线,中间提到了shader的作用,我们的大shader同学主要就是负责被CPU指派到GPU中做一些如顶点转换,关照模型,光栅化等操作的. 大shader有两种类型,他们分别是Vs[顶点着色器] 和 Ps[像素着色器].. 他们可以同时存在,也可以分开存在,没有任何使用限制. 当时如果同时存在的话,必须Vs执行完成后再交给Ps处理. 他们两个家伙是配合固定流程管线而存在的.

WPF 像素着色器入门：使用 Shazzam Shader Editor 编写 HLSL 像素着色器代码

原文:WPF 像素着色器入门:使用 Shazzam Shader Editor 编写 HLSL 像素着色器代码 HLSL,High Level Shader Language,高级着色器语言,是 Direct3D 着色器模型所必须的语言.WPF 支持 Direct3D 9,也支持使用 HLSL 来编写着色器.你可以使用任何一款编辑器来编写 HLSL,但 Shazzam Shader Editor 则是专门为 WPF 实现像素着色器而设计的一款编辑器,使用它来编写像素着色器,可以省去像素着色器接入

定制着色器和渲染后期处理

1.设置后期处理 设置Three.js库为后期处理做准备,我们需要通过以下步骤对当前的配置进行修改: 1)创建一个EffectComposer(效果组合器)对象,然后在该对象上添加后期处理通道. 2)配置该对象,使它可以渲染我们的场景,并应用额外的后期处理步骤. 3)在render循环中,使用EffectComposer渲染场景.应用通道,并输出结果. 要使用后期处理,需要引入一些javaSscript文件.这些文件可以在Three.js发布包里找到.路径是examples/js/postpro

【浅墨Unity3D Shader编程】之三 光之城堡篇：子着色器、通道与标签的写法 &amp; 纹理混合

本系列文章由@浅墨_毛星云 出品,转载请注明出处. 文章链接:http://blog.csdn.net/poem_qianmo/article/details/41175585 作者:毛星云(浅墨)    微博:http://weibo.com/u/1723155442 邮箱: [email protected] 本文介绍了Unity中子着色器.通道和标签相关的详细概念与写法,以及纹理的设置方法,基本的纹理混合写法,写了5个Shader作为本文Shader讲解的实战内容,最后创建了一个梦幻的光之

Unity3d之Shader编程：子着色器、通道与标签的写法 &amp; 纹理混合

一.子着色器 Unity中的每一个着色器都包含一个subshader的列表,当Unity需要显示一个网格时,它能发现使用的着色器,并提取第一个能运行在当前用户的显示卡上的子着色器. 我们知道,子着色器定义了一个渲染通道的列表,并可选是否为所有通道初始化所需要的通用状态.子着色器的写法如下: Subshader{ [Tags] [CommonState] Passdef [Passdef ...] } 也就是通过可选标签,通用状态 和 一个Pass 定义的列表构成了子着色器. 当Unity选择用于

DXVA2解码数据用texture纹理渲染

FFmpeg DXVA2解码得到的数据使用surface来承载的,surface限制很多,如果能用纹理来渲染的话,那我们就可以充分开发D3D,比如可以用坐标变换来实现电子放大的功能,还可以用坐标变换来实现视频图像任意角度的旋转等功能.而对于我来说,最重要的是纹理渲染可以使得解码后的数据能够用像素着色器来做简单的视频图像处理,如果是用的是D3D11,对于更为复杂的视频图像处理算法也是有望可以用Compute Shader实现,以便充分利用显卡来加速和释放CPU. DXVA2解码数据用纹理渲染的方法

Directx 中HLSL高级着色器语言 脑补一下吧

HLSL初级教程 作者:trcj 目录 前言 1.HLSL入门 1.1什么是着色器 1.2什么是HLSL 1.3怎么写HLSL着色器 1.4怎么用HLSL着色器 2.顶点着色器 2.1可编程数据流模型 2.2顶点声明 2.3用顶点着色器实现渐变动画 3.像素着色器 3.1多纹理化 3.2多纹理效果的像素着色器 3.3应用程序 4.HLSL Effect(效果框架) 4.1Effect代码结构 4.2用Effect实现多纹理化效果 结语 参考资料 前言 本教程针对HLSL(High Level S