Заставьте distutils искать файлы заголовков numpy в правильном месте

В моей установке arrayobject.h numpy находится по адресу …/site-packages/numpy/core/include/numpy/arrayobject.h. Я написал тривиальный скрипт Cython, который использует numpy:

cimport numpy as np

def say_hello_to(name):
    print("Hello %s!" % name)

У меня также есть следующие distutils setup.py (скопированные из руководства пользователя Cython):

from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext

ext_modules = [Extension("hello", ["hello.pyx"])]

setup(
  name = 'Hello world app',
  cmdclass = {'build_ext': build_ext},
  ext_modules = ext_modules
)

Когда я пытаюсь построить с python setup.py build_ext --inplace, Cython пытается сделать следующее:

gcc -fno-strict-aliasing -Wno-long-double -no-cpp-precomp -mno-fused-madd \
-fno-common -dynamic -DNDEBUG -g -Os -Wall -Wstrict-prototypes -DMACOSX \
-I/usr/include/ffi -DENABLE_DTRACE -arch i386 -arch ppc -pipe \
-I/System/Library/Frameworks/Python.framework/Versions/2.5/include/python2.5 \
-c hello.c -o build/temp.macosx-10.5-i386-2.5/hello.o

Как и ожидалось, найти arrayobject.h не удается. Как я могу заставить distutils использовать правильное расположение включаемых файлов numpy (не заставляя пользователя определять $ CFLAGS)?


python numpy cython distutils
person Vebjorn Ljosa    schedule 04.03.2010    source источник

Ответы (3)


arrow_upward
71
arrow_downward

Используйте 1_:

from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext
import numpy as np                           # <---- New line

ext_modules = [Extension("hello", ["hello.pyx"],
                                  include_dirs=[get_numpy_include()])]   # <---- New argument

setup(
  name = 'Hello world app',
  cmdclass = {'build_ext': build_ext},       
  ext_modules = ext_modules
)
person Vebjorn Ljosa    schedule 04.03.2010
comment
У меня такая же проблема при использовании магии %%cython в ноутбуке ipython .. Интересно, есть ли для этого простое решение - person pbreach; 14.09.2014
comment
Для тех, кто смотрит на это как на пример работы, не связанной с numpy, определение numpy.get_include: здесь. - person Ioannis Filippidis; 07.07.2015
comment
Я не уверен, правильно ли я реализовал это, но похоже, что это делает setup.py бесполезным для удаленных установок. Вы получаете сообщение об ошибке ModuleNotFoundError: No module named 'numpy' - person Erik K; 17.05.2019
comment
попробую заставить его работать с pipenv, работает с pip install спасибо - person Erik K; 19.05.2019
comment
пункт 19 и выше снова нарушает все это из-за соблюдения PEP517 / 518 - person Erik K; 12.06.2019
comment
это работает, но не работает при выпуске его в pypi, так как у меня не установлен пакет numpy! - person Jingpeng Wu; 15.08.2019
comment
Должно get_numpy_include() не быть np.get_include()? - person Demitri; 26.04.2020

arrow_upward
29
arrow_downward

Ответ @ vebjorn-ljosa правильный, но он вызывает проблемы при использовании вместе с install_requires=['numpy']. В этой ситуации ваш setup.py должен импортировать numpy, что вызовет ошибку, если вы попытаетесь pip install ваш проект без предварительного запуска pip install numpy.

Если ваш проект зависит от numpy, и вы хотите, чтобы numpy устанавливался автоматически в качестве зависимости, вам нужно установить include_dirs только тогда, когда ваши расширения действительно создаются. Вы можете сделать это, создав подкласс build_ext:

from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext

class CustomBuildExtCommand(build_ext):
    """build_ext command for use when numpy headers are needed."""
    def run(self):

        # Import numpy here, only when headers are needed
        import numpy

        # Add numpy headers to include_dirs
        self.include_dirs.append(numpy.get_include())

        # Call original build_ext command
        build_ext.run(self)

ext_modules = [Extension("hello", ["hello.pyx"])]

setup(
  name = 'Hello world app',
  cmdclass = {'build_ext': CustomBuildExtCommand},
  install_requires=['numpy'],
  ext_modules = ext_modules
)

И вы можете использовать аналогичный трюк, чтобы добавить cython в качестве автоматически устанавливаемой зависимости:

from distutils.core import setup
from distutils.extension import Extension

try:
    from Cython.setuptools import build_ext
except:
    # If we couldn't import Cython, use the normal setuptools
    # and look for a pre-compiled .c file instead of a .pyx file
    from setuptools.command.build_ext import build_ext
    ext_modules = [Extension("hello", ["hello.c"])]
else:
    # If we successfully imported Cython, look for a .pyx file
    ext_modules = [Extension("hello", ["hello.pyx"])]

class CustomBuildExtCommand(build_ext):
    """build_ext command for use when numpy headers are needed."""
    def run(self):

        # Import numpy here, only when headers are needed
        import numpy

        # Add numpy headers to include_dirs
        self.include_dirs.append(numpy.get_include())

        # Call original build_ext command
        build_ext.run(self)

setup(
  name = 'Hello world app',
  cmdclass = {'build_ext': CustomBuildExtCommand},
  install_requires=['cython', 'numpy'],
  ext_modules = ext_modules
)

Примечание: эти подходы работают только с pip install .. Они не будут работать для python setup.py install или python setup.py develop, поскольку в этих командах зависимости устанавливаются после вашего проекта, а не до него.

person R_Beagrie    schedule 10.02.2017

arrow_upward
0
arrow_downward

Для тех, кто не использует Cython, небольшая модификация решения R_Beagrie без этой зависимости заключается в том, что вы просто импортируете build_ext из distutils.command.build_ext вместо Cython.

from distutils.core import setup
from distutils.extension import Extension
from distutils.command.build_ext import build_ext

class CustomBuildExtCommand(build_ext):
    """build_ext command for use when numpy headers are needed."""
    def run(self):

        # Import numpy here, only when headers are needed
        import numpy

        # Add numpy headers to include_dirs
        self.include_dirs.append(numpy.get_include())

        # Call original build_ext command
        build_ext.run(self)

ext_modules = [Extension("hello", ["hello.c"])]

setup(
  name = 'Hello world app',
  cmdclass = {'build_ext': CustomBuildExtCommand},
  install_requires=['numpy'],
  ext_modules = ext_modules
)
person tgbrooks    schedule 15.02.2019