Расчет векторного расстояния для классификации со смешанными объектами

Конечно, вы можете увеличить евклидово расстояние любым количеством способов. Самым простым расширением было бы следующее правило:

distance = 0 в этой координате, если есть совпадение, 1 в противном случае

Задача будет заключаться в том, чтобы сделать концепцию расстояния «актуальной» для продолжения k-NN. В некоторых случаях (например, образование), я думаю, будет лучше отобразить образование (дискретную переменную) в непрерывную переменную, такую ​​как годы обучения. Поэтому вам нужно написать функцию, которая отображает, например, «HS-град» до 12, «Холостяк» до 16, что-то в этом роде.

Кроме того, использование k-NN напрямую не сработает, потому что идея «расстояния» между несколькими несходными измерениями четко не определена. Думаю, вам лучше отбросить некоторые из этих измерений или по-другому взвесить их. Я не знаю, что означает третье число в вашем наборе данных (например, 98092), но если вы будете использовать наивное евклидово расстояние, оно будет чрезвычайно завышенным по сравнению с другими измерениями, такими как возраст.

Я не эксперт по машинному обучению, но лично мне хотелось бы начать k-NN на наборе данных с уменьшенной размерностью, где вы просто выбираете некоторые широкие демографические данные (например, возраст, образование, семейное положение) и игнорируете более сложные / «шумные» категории. .

Вам необходимо закодировать категориальные переменные как двоичные переменные 1 из n (n вариантов для переменной, и из этих переменных активна только одна). Затем стандартизируйте свои функции --- для каждой функции вычтите ее среднее значение и разделите на стандартное отклонение. Или нормализовать в диапазоне 0-1. Он не идеален, но, по крайней мере, сравним по размерам.

Создайте отдельные карты для каждой точки данных и используйте карту для преобразования в двойное значение.

def createMap(data: RDD[String]) : Map[String,Double] = {  
 var mapData:Map[String,Double] = Map()
 var counter = 0.0
 data.collect().foreach{ item => 
  counter = counter +1
  mapData += (item -> counter)
 }
 mapData
}

def getLablelValue(input: String): Int = input match {
 case "<=50K" => 0
 case ">50K" => 1
}


val census = sc.textFile("/user/cloudera/census_data.txt")
val orgTypeRdd  = census.map(line => line.split(", ")(1)).distinct
val gradeTypeRdd = census.map(line => line.split(", ")(3)).distinct
val marStatusRdd = census.map(line => line.split(", ")(5)).distinct
val jobTypeRdd = census.map(line => line.split(", ")(6)).distinct
val familyStatusRdd = census.map(line => line.split(", ")(7)).distinct
val raceTypeRdd = census.map(line => line.split(", ")(8)).distinct
val genderTypeRdd = census.map(line => line.split(", ")(9)).distinct
val countryRdd = census.map(line => line.split(", ")(13)).distinct
val salaryRange = census.map(line => line.split(", ")(14)).distinct

val orgTypeMap = createMap(orgTypeRdd)
val gradeTypeMap = createMap(gradeTypeRdd)
val marStatusMap = createMap(marStatusRdd)
val jobTypeMap = createMap(jobTypeRdd)
val familyStatusMap = createMap(familyStatusRdd)
val raceTypeMap = createMap(raceTypeRdd)
val genderTypeMap = createMap(genderTypeRdd)
val countryMap = createMap(countryRdd)
val salaryRangeMap = createMap(salaryRange)


val featureVector = census.map{line => 
  val fields = line.split(", ")
 LabeledPoint(getLablelValue(fields(14).toString) , Vectors.dense(fields(0).toDouble,  orgTypeMap(fields(1).toString) , fields(2).toDouble , gradeTypeMap(fields(3).toString) , fields(4).toDouble , marStatusMap(fields(5).toString), jobTypeMap(fields(6).toString), familyStatusMap(fields(7).toString),raceTypeMap(fields(8).toString),genderTypeMap (fields(9).toString), fields(10).toDouble , fields(11).toDouble , fields(12).toDouble,countryMap(fields(13).toString) , salaryRangeMap(fields(14).toString)))
}