Guest User

iconv "magic"

a guest
Jan 11th, 2016
30
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
  1.  
  2. tokai@beryl ~/Desktop $ cat latin1/example1.txt
  3. German Umlauts: "?" "?" "?" and sharp s: "?".
  4.  
  5.  
  6. tokai@beryl ~/Desktop $ cat latin1/example2.txt
  7. 160 A0 NBSP 161 A1 ? 162 A2 ? 163 A3 ? 164 A4 ? 165 A5 ? 166 A6 ? 167 A7 ?
  8. 168 A8 ? 169 A9 ? 170 AA ? 171 AB ? 172 AC ? 173 AD ? 174 AE ? 175 AF ?
  9. 176 B0 ? 177 B1 ? 178 B2 ? 179 B3 ? 180 B4 ? 181 B5 ? 182 B6 ? 183 B7 ?
  10. 184 B8 ? 185 B9 ? 186 BA ? 187 BB ? 188 BC ? 189 BD ? 190 BE ? 191 BF ?
  11. 192 C0 ? 193 C1 ? 194 C2 ? 195 C3 ? 196 C4 ? 197 C5 ? 198 C6 ? 199 C7 ?
  12. 200 C8 ? 201 C9 ? 202 CA ? 203 CB ? 204 CC ? 205 CD ? 206 CE ? 207 CF ?
  13. 208 D0 ? 209 D1 ? 210 D2 ? 211 D3 ? 212 D4 ? 213 D5 ? 214 D6 ? 215 D7 ?
  14. 216 D8 ? 217 D9 ? 218 DA ? 219 DB ? 220 DC ? 221 DD ? 222 DE ? 223 DF ?
  15. 224 E0 ? 225 E1 ? 226 E2 ? 227 E3 ? 228 E4 ? 229 E5 ? 230 E6 ? 231 E7 ?
  16. 232 E8 ? 233 E9 ? 234 EA ? 235 EB ? 236 EC ? 237 ED ? 238 EE ? 239 EF ?
  17. 240 F0 ? 241 F1 ? 242 F2 ? 243 F3 ? 244 F4 ? 245 F5 ? 246 F6 ? 247 F7 ?
  18. 248 F8 ? 249 F9 ? 250 FA ? 251 FB ? 252 FC ? 253 FD ? 254 FE ? 255 FF ?
  19.  
  20.  
  21. tokai@beryl ~/Desktop $ hexdump -C latin1/example1.txt
  22. 00000000 47 65 72 6d 61 6e 20 55 6d 6c 61 75 74 73 3a 20 |German Umlauts: |
  23. 00000010 22 e4 22 20 22 f6 22 20 22 fc 22 20 61 6e 64 20 |"." "." "." and |
  24. 00000020 73 68 61 72 70 20 73 3a 20 22 df 22 2e 0a |sharp s: "."..|
  25. 0000002e
  26.  
  27.  
  28. tokai@beryl ~/Desktop $ mkdir utf8
  29.  
  30.  
  31. tokai@beryl ~/Desktop $ find latin1 -type f
  32. latin1/example1.txt
  33. latin1/example2.txt
  34.  
  35.  
  36. tokai@beryl ~/Desktop $ find latin1 -type f -execdir sh -c 'iconv -f iso-8859-1 -t utf-8 "{}" > /Users/tokai/Desktop/utf8/"{}"' \;
  37.  
  38.  
  39. tokai@beryl ~/Desktop $ cat utf8/example1.txt
  40. German Umlauts: "ä" "ö" "ü" and sharp s: "ß".
  41.  
  42.  
  43. tokai@beryl ~/Desktop $ cat utf8/example2.txt
  44. 160 A0 NBSP 161 A1 ¡ 162 A2 ¢ 163 A3 £ 164 A4 ¤ 165 A5 ¥ 166 A6 ¦ 167 A7 §
  45. 168 A8 ¨ 169 A9 © 170 AA ª 171 AB « 172 AC ¬ 173 AD ­ 174 AE ® 175 AF ¯
  46. 176 B0 ° 177 B1 ± 178 B2 ² 179 B3 ³ 180 B4 ´ 181 B5 µ 182 B6 ¶ 183 B7 ·
  47. 184 B8 ¸ 185 B9 ¹ 186 BA º 187 BB » 188 BC ¼ 189 BD ½ 190 BE ¾ 191 BF ¿
  48. 192 C0 À 193 C1 Á 194 C2 Â 195 C3 Ã 196 C4 Ä 197 C5 Å 198 C6 Æ 199 C7 Ç
  49. 200 C8 È 201 C9 É 202 CA Ê 203 CB Ë 204 CC Ì 205 CD Í 206 CE Î 207 CF Ï
  50. 208 D0 Ð 209 D1 Ñ 210 D2 Ò 211 D3 Ó 212 D4 Ô 213 D5 Õ 214 D6 Ö 215 D7 ×
  51. 216 D8 Ø 217 D9 Ù 218 DA Ú 219 DB Û 220 DC Ü 221 DD Ý 222 DE Þ 223 DF ß
  52. 224 E0 à 225 E1 á 226 E2 â 227 E3 ã 228 E4 ä 229 E5 å 230 E6 æ 231 E7 ç
  53. 232 E8 è 233 E9 é 234 EA ê 235 EB ë 236 EC ì 237 ED í 238 EE î 239 EF ï
  54. 240 F0 ð 241 F1 ñ 242 F2 ò 243 F3 ó 244 F4 ô 245 F5 õ 246 F6 ö 247 F7 ÷
  55. 248 F8 ø 249 F9 ù 250 FA ú 251 FB û 252 FC ü 253 FD ý 254 FE þ 255 FF ÿ
  56.  
  57.  
  58. tokai@beryl ~/Desktop $ hexdump -C utf8/example1.txt
  59. 00000000 47 65 72 6d 61 6e 20 55 6d 6c 61 75 74 73 3a 20 |German Umlauts: |
  60. 00000010 22 c3 a4 22 20 22 c3 b6 22 20 22 c3 bc 22 20 61 |".." ".." ".." a|
  61. 00000020 6e 64 20 73 68 61 72 70 20 73 3a 20 22 c3 9f 22 |nd sharp s: ".."|
  62. 00000030 2e 0a |..|
  63. 00000032
RAW Paste Data