Для создания выделения на основе каналов используйте сочетания клавиш
Ctrl+Alt+2 - выделение по RGB,
Ctrl+Alt+3 - выделение по красному каналу,
Ctrl+Alt+4 - выделение по зеленому каналу,
Ctrl+Alt+5 - выделение по синему каналу.