что, попробуете gltf имплементацию pbr?
Соберите в своем шейдере структуры из Surface и вызовете GltfDirectBRDF и GltfIBL и сложите. Рецепт, примерно, усредненный:

half3 indirectDiffuse = SAMPLE_GI(IN.lightmapUV, IN.SH, litData.N);
MixRealtimeAndBakedGI(mainLight, customLitData.N, indirectDiffuse);
half3 envPbr = GltfIBL(customLitData, сustomSurfaceData, 0, IN.positionWS, indirectDiffuse);
 half3 directPbr = GltfDirectBRDF(cistomLitData, сustomSurfaceData, mainLight.direction, mainLight.color,mainLight.shadowAttenuation);

//всякие незначительные источники света

result.rgb = directPbr + envPbr;
//вы великолепны

для энвира очень важна текстура https://mail.examples.web3d.org/x_ite/stable/assets/lib/lut_ggx.png (RG16 wrap mode - Clamp (иначе белая точка на объекте будет постоянно)) Разошлите ее глобально и забудьте.

ситуация c PI, для Юнити придется или light выкрутить в 3.14 раз или где-то в direct пбр умножить diffuse на PI но аккуратно, чтоб не influence на то, что не need.
Чисто для research.

Как в Doom.
Нормали и тангенты упакованы за 4 байта в атрибуте с цветом. Фиксируем сокращение веса и возрастание нагрузки на шейдер (в вертексе). Но, скорее всего, стоит того.

Статья к предыдущему сообщению

https://github.com/BarkarIvan/com.barkar.cg_tools.git

давайте я вам весь пакет покажу свой с экспериментами, тут и мипы кастомные и квантайз 4байта нормалей с тангентом в цвет, лит шейдер, ГТАО.

Как есть, пользоваться только на свой страх и риск. В продакшен ниче не шло пока совсем.

Для гтао, чтоб быстро глянуть, рендерфичу подключите и возьмите шейдер ARMLit (там только на сцене компонент нужен, который шлет LUTтекстуры) шейдер поддерживает и квантайз и токсвиг в текстуре нормалей - все галочками в редакторе. Можно им на все посмотреть.

Для мип и квантайза нужно сеты настроек создать, которые будут смотреть на имя файла и по нему выбирать пресет. Рядом с файлом появятся ассеты.

У шейдера есть неподключенные фичи.

Скажите если увидите серьезные проблемы.
для юнити 6.3