Как затемнить фон при использовании BottomSheet из библиотеки поддержки?

Это просто покажет нижний лист.

public class MyBottomSheet extends BottomSheetDialogFragment {
    private static final String TAG = "MyBottomSheet";

    @NonNull
    @Override
    public Dialog onCreateDialog(final Bundle savedInstanceState) {
        final BottomSheetDialog dialog = (BottomSheetDialog) super.onCreateDialog(savedInstanceState);

        final View view = View.inflate(getContext(), R.layout.my_custom_view, null);

        dialog.setContentView(view);
        behavior = BottomSheetBehavior.from((View) view.getParent());

        return dialog;
    }

    public void show(final FragmentActivity fragmentActivity) {
        show(fragmentActivity.getSupportFragmentManager(), TAG);
    }
}

Чтобы закрыть диалоговое окно, как обычно, вызовите close().

используйте 1_

в основном это диалоговое окно (т.е. поддержка затемнения) и поддержка поведения модальных нижних листов, попробуйте