создание шестнадцатеричного файла реестра в автономном режиме

Немного сложно дать хорошую информацию и совет без дополнительной информации о вашем варианте использования. Не могли бы вы подробнее рассказать о том, что вы делаете и почему вы это делаете? Тем не менее, я постараюсь ответить на этот вопрос.

Вот спецификация формата реестра: https://github.com/hexpm/specifications/blob/master/registry.md.

Формат довольно прост, и для самостоятельного создания файла ETS не потребуется слишком много кода.

Мне немного сложно понять, почему нужен файл реестра (и если он есть, почему каждый пакет не может содержать необходимую информацию в метаданных, что делает необходимость в центральном реестре устаревшей)

Реестр необходим для разрешения зависимостей в шестнадцатеричном клиенте. Сопоставитель может попробовать много разных версий пакетов, если клиенту нужно будет получить каждую версию пакета, чтобы увидеть, разрешил ли он много бесполезных HTTP-запросов. Реестр предназначен для оптимизации, поэтому нам нужно получить только один файл, чтобы получить полное разрешение.

Я думаю, что вы, возможно, захотите напрямую зависеть от локальных архивов пакетов, поскольку вы подразумеваете, что сами выполняете разрешение зависимостей. Это правильно? Я открыл проблему на клиенте, чтобы поддержать это: https://github.com/hexpm/hex/issues/261

Для будущих поколений, которые оказались здесь, вот работающий конструктор реестра:

defp string_files(files) do
  Enum.into(files, %{}, fn {name, binary} ->
    {List.to_string(name), binary}
  end)
end

defp decode(string) when is_binary(string) do
  string = String.to_char_list(string)
  case :safe_erl_term.string(string) do
    {:ok, tokens, _line} ->
      try do
        terms = :safe_erl_term.terms(tokens)
        result = Enum.into(terms, %{})
        {:ok, result}
      rescue
        FunctionClauseError ->
          {:error, "invalid terms"}
        ArgumentError ->
          {:error, "not in key-value format"}
      end

    {:error, reason} ->
      {:error, inspect reason}
  end
end

def build_registry(hex_home) do
  # find the tars
  tars = Path.wildcard(Path.join(hex_home,"packages/*.tar"))

  # initialize the ets table used to build the registry
  :ets.new(:myr, [:named_table])
  :ets.insert(:myr, {:"$$version$$", 4})

  # go through the tars, extract the info needed and populate
  # the registry
  Enum.each(tars, fn filename ->
      {:ok, files} = :erl_tar.extract(String.to_char_list(filename), [:memory])
      files = string_files(files)
      {:ok, metadata} = decode(files["metadata.config"])
      name = metadata["app"]
      version = metadata["version"]
      build_tools = metadata["build_tools"]
      checksum = files["CHECKSUM"]
      deps = []
      if metadata["requirements"], do: deps = metadata["requirements"]
      reg_deps = Enum.map(deps, fn
          {name, depa} ->
              depa = Enum.into(depa, %{})
              [name, depa["requirement"], depa["optional"], depa["app"]]
          depa ->
              depa = Enum.into(depa, %{})
              [depa["name"], depa["requirement"], depa["optional"], depa["app"]]
      end)
      IO.puts "adding dependency"
      IO.inspect {name, [[version]]}
      IO.inspect {{name, version}, [reg_deps, checksum, build_tools]}
      :ets.insert(:myr, {name, [[version]]})
      :ets.insert(:myr, {{name, version}, [reg_deps, checksum, build_tools]})
  end)

  # persist the registry to disk and remove the table
  registry_file = Path.join(hex_home, "registry.ets")
  IO.puts "Writing registry to: #{registry_file}"
  :ets.tab2file(:myr, String.to_char_list(registry_file))
  :ets.delete(:myr)
  registry_file_gzip = registry_file <> ".gz"
  IO.puts "Gzipping registry to: #{registry_file_gzip}"
  gzipped_content = File.read!(registry_file) |> :zlib.gzip
  File.write!(registry_file_gzip, gzipped_content)
end

Для получения дополнительной информации:

• реестр представляет собой таблицу ETS. См .: http://erlang.org/doc/man/ets.html
• формат реестра описан здесь: https://github.com/hexpm/specifications/blob/master/registry.md
• private fn в этом модуле вдохновлены: https://github.com/hexpm/hex_web/blob/master/scripts/rebuild_tarballs.exs
• safe_erl_term.xrl (должен находиться в src /) заимствован из: https://raw.githubusercontent.com/hexpm/hex_web/master/src/safe_erl_term.xrl
• xrl - это вход для leex. см. здесь (принимает спецификацию, генерирует код erlang): http://erlang.org/doc/man/leex.html